Stavební historie hranického zámku započala ve 14. století zbudováním tvrze, připomínané poprvé roku 1398. Dá se předpokládat, že ji postavil některý ze zástavních držitelů Hranic, které sice tenkrát patřily klášteru Hradisko u Olomouce, ale prakticky nevycházely ze zástav světským držitelům. Tvrz nemusela být ještě celá kamenná a stávala v místech, kde se dnes rozkládá renesanční zámek.
Z potvrzení městských práv Janem Tovačovským z Cimburka roku 1431 vyplývá, že město bylo v této době opevněno hliněnými valy a dřevěnými pláňkami, ale roku 1465 je již uváděn hrad, stojící na hraně ostrožny nad potokem Veličkou. Tento hrad, jehož části byly prokazatelně zjištěny při stavebně-historickém průzkumu zámku v letech 1995 - 1996, začali Cimburkové stavět před rokem 1465. Z této doby pravděpodobně pochází vnitřní hradební zeď města, která měla po celém obvodu průměrnou tloušťku 1,7 metru a nebyla zpevněna ani jedinou baštou. V severozápadním rohu této nejstarší hradby se nalézal hradní dvouprostorový palác podsklepený patrovým sklepem. Dolní část sklepa je dosud zachována, horní část, která zasahovala až pod nádvoří dnešního zámku, byla při kropáčovské přestavbě zasypána. Při průzkumu byla objevena dvě původní gotická sklepní okénka a v zásypu tohoto sklepa byl nalezen soubor kamnových kachlů ze 16. století. Severovýchodní roh hradby je dodnes zachován ve zdivu domu čp. 410, který sloužil dříve jako sýpka. V jižní fasádě tohoto domu je zachováno původní pískovcové ostění s okosenou hranou z období Pernštejnů. V této hradbě byl od severu proražen lomený oblouk průjezdu, který tvořil hlavní vstup do města. V další fázi byla k tomuto průjezdu přistavěna vstupní věž. Tato věž je dodnes zazděna ve východním křídle zámku, kde jsou zachovány lomené gotické oblouky původního průjezdu. Vnější severní portál je z obranných důvodů užší a nižší než portál jižní. Tento portál nemá kamenné ostění ani vpadlinu pro uzavření brány padacím mostem. Před branou bylo ještě předbrání s opěrnými pilíři kolem vjezdu. Před ním byl vyhlouben příkop, který se táhl přes celou šířku ostrožny. Dalším zjištěným doplňkem brány bylo čtvrtkruhové točité schodiště do prvního patra, které bylo přiloženo k jihozápadnímu rohu věže.
Původní vstup do města tedy nevedl trasou dnešní Jiráskovy ulice, ale více vpravo přes východní křídlo zámku, které ještě nestálo. Prostor před touto bránou byl v té době ještě nezastavěn a mohly na něm být zahrady, které směnil Jan z Pernštejna roku 1514 měšťanu Ondrovi za jiné, aby na nich postavil předhradí zámku. Na základě této zprávy se uvádí v literatuře mylně doba založení zámku Janem z Pernštejna roku 1514.
Za Pernštejnů, kteří město drželi v letech 1475 - 1547, byl skutečně starý hrad Cimburků přestavěn, původní brána zrušena a vstup posunut do osy dnešní Jiráskovy ulice. Od severu chránil přestavěný pernštejnský hrad masivní štít hradby s mohutnými opěrnými pilíři. V této hradbě byla vybudována nová brána, jejíž části jsou až do výše prvního patra zachovány v severní fasádě východního křídla zámku. Vrchol brány tvořil ozdobný obloučkový pás, nesený na drobných pískovcových krakorcích, typických pro období pozdní gotiky. Na východ od nové brány byla vybudována nárožní věž o průměru 9 metrů, objevená při archeologickém průzkumu v roce 1998 (po zbourání domu čp. 549), která v této stavební fázi tvořila severovýchodní roh města. Tato věž stála nad původním příkopem, do kterého vede směrem k západu kamenná klíčová střílna. Nároží města kontrolovala tato věž ještě třemi klíčovými střílnami. Příkop byl současně se stavbou věže obezděn kamennými zdmi. Vnitřní zeď tohoto příkopu zároveň tvořila parkánovou hradbu navazující přímo na nárožní věž. Na západní straně ostrožny je tato hradba, jdoucí výrazně šikmo, zachována v jižní suterénní místnosti pod bývalou hospodářskou budovou předhradí. Archeologické nálezy, které byly získány v hloubce pěti metrů ze dna příkopu na místě zbořeného domu čp. 549, potvrdily, že ještě v 16. století byl tento příkop používán. Zasypán byl až při stavbě kropáčovského zámku po roce 1560. Za Pernštejnů byla také posunuta západní zeď zámku čtyři metry od původní hradby směrem na západ. Na jižním rohu této zdi byla vybudována hlavní hradní věž se suterénním prostorem (objeveným při průzkumu v roce 1995), do něhož bylo možno vstoupit pouze malým okénkem shora. Vnitřní prostor má průměr 1,8 metru a vrchol je zaklenut cihelnou kopulí. Použité cihly odpovídají rozměrům cihel používaných za Pernštejnů na hradě Helfštýně. V prvním patře věže je ve výklenku zachován pozdně gotický prevét, ústící žlabem ve zdivu věže přímo do příkopu. V přízemí věže jsou zabudovány tři křížové střílny, kontrolující příkop ve směru sever - jih a směřující do příkopu ke vstupu do hradu. V severozápadním rohu hradu byly průzkumem zjištěny základy opěrného pilíře a půlkruhové bašty.
V jihovýchodním rohu hradu byla postavena věžovitá budova s dvěma opěrnými pilíři, mezi níž a původní branou ve východním křídle byl pouze dvůr, ze kterého se při průzkumu našla původní oblázková dlažba. Na jihu a do poloviny východní strany hradu (směrem od města) byl vybudován obezděný příkop, přes který vedl most do brány v místě dnešního hlavního vstupu. Při průzkumu bylo objeveno velké množství pozdně gotických a raně renesančních architektonických článků, pocházejících z pernštejnské přestavby. Zvláště zajímavé jsou fragmenty minimálně pěti kusů raně renesančních palácových oken s kamenným křížem, které měly šířku 2 metry a výšku 2,80 metru. Z nalezených zbytků se podařilo celé okno rekonstruovat. Také byly nalezeny zbytky klínových kamenných žeber z původních žebrových kleneb palácové místnosti.
O výstavnosti interiérů hradního paláce svědčí velké množství různých druhů kamnových kachlů, nalezených v zásypu klenby v přízemí jižního křídla. Střechy budov byly kryty keramickými prejzy, které byly používány ještě při dalších přestavbách. V 16. století - za Jana z Pernštejna - bylo město směrem na sever rozšířeno vybudováním předhradí, zpevněného dodnes zachovalými nárožními baštami a byla rovněž vybudována nová brána, před kterou byl vyhlouben příkop, jak dokazují nalezené pilíře kolem vjezdu. Další významnou pernštejnskou stavbou bylo zřízení vnější parkánové hradby s baštami, která navazovala na opevnění hradu a výrazně posílila obranyschopnost města.
Následujícím stavebníkem hranického zámku byl Jan Kropáč z Nevědomí, který v Hranicích trvale sídlil od roku 1553 až do své smrti v roce 1572. Přestavěl pernštejnský hrad na trojkřídlý zámek, jehož podobu zachycuje Willenbergerovo vyobrazení z roku 1592, které je zároveň nejstarším pohledem na město. Zámek byl již dvoupatrový. Věž v jihozápadním nároží, vybudovaná za Pernštejnů, měla do úrovně druhého patra osmibokou nástavbu a byla kryta kuželovou střechou s podsebitím. Západní křídlo bylo od severu kratší a proti hodně šikmému severozápadnímu nároží pernštejnského hradu má již ukončení pravoúhlé. V této etapě byla také přestavěna pernštejnská průjezdní brána v jihovýchodním rohu zámku. Součástí interiéru byly malované kazetové stropy. Fragment malovaného stropu byl nalezen nad mladší klenbou v druhém poschodí v severozápadním rohu zámku. Nároží se silnou ukončovací zdí je patrné v dnešním zámku až do výše druhého patra. V druhém patře bylo směrem na sever prolomeno mohutné okno, které nese stopy po vylomeném ostění.
Dále na vyobrazení výrazně vystupuje z hmoty zámku věž bývalé brány s vysokou valbovou střechou ještě pozdně gotického tvaru, dnes zazděné ve východním křídle. Její zdivo je zachováno až do druhého podlaží a byl v něm směrem na jih prolomen okenní otvor, který byl rámován pískovcovým ostěním s mohutným pozdně gotickým vyžlabeným profilem s kamenným křížem. Tyto stavební články byly nalezeny druhotně použité přímo v zazdívce okna. Valená klenba v přízemí a klenba nad prvním podlažím věže, která byla níže než dnešní podlaží zámku, musela být zvýšena novou klenbou. Tak mezi nimi vznikl prostor, který byl prozkoumán při rekonstrukci v roce 1997. Koruna zdiva věže - včetně kapes po původních trámech, které měly podélný směr proti trámům dnešního stropu - je již dostavěna z cihel. Byla odkryta a dokumentována při opravě stropu v roce 1997. Na zdivu věže směrem k jihu je zachována ještě středověká omítka a přímo na ni jsou na spáru přiloženy zdi poslední přestavby zámku. Získané poznatky dokazují, že věž stála v úplné výšce již za Pernštejnů a Jan Kropáč pouze sjednocoval novými zdmi již stojící stavby.
Nový kropáčovský zámek byl vyzdoben erbovním vývodem jeho rodu, který tvořilo 22 pískovcových oblouků. Tyto mohutné oblouky - dlouhé 2 metry a vysoké 1 metr - mohly tvořit výzdobu snad již arkádového nádvoří a stavbu přesně datují do roku 1562. Při průzkumu fasád nádvoří však nebyly zjištěny žádné stopy po jejich osazení. Podle J. H. A. Gallaše, v jehož kresbách z roku 1811 se zachovalo osm těchto oblouků, byly tyto oblouky při žampachovské přestavbě zámku z nádvoří odstraněny a zazděny do ohradní zdi příkopu před zámkem, kde byly zničeny při úpravě ohradní zdi roku 1846. Poslední zachovaný kus, který byl do roku 1944 zazděn vpravo od brány zámku, byl značně poškozený uložen v zahradě akademického sochaře Ladislava Vlodka.
Kropáčovský zámek neměl ještě severní křídlo. Na jeho místě se nacházel původní příkop, který odděloval zámek od hospodářské části, přestavěné roku 1572 na zámecké sýpky a pivovar. Později znovu přestavované budovy byly po požáru v roce 1959 zbořeny. Toto předzámčí, postavené ještě Janem z Pernštejna, bylo v minulosti v literatuře mylně uváděno jako původní tvrz. Dodnes se z této stavby zachovaly čtyři suterénní místnosti hospodářského objektu při západní hradbě a dvě bašty, které z obou stran uzavíraly budovu.
Roku 1561 bylo předhradí posíleno přední věží s barbakánem, do které byl nad průjezdem zazděn velký znak města a znaky s erby Jana Kropáče a jeho ženy Veroniky z Leskovce. Tyto znaky jsou dnes zabudovány do ohradní zdi před zámkem. Dalšími dvěma znaky zabudovanými v ohradní zdi jsou erby Anny Kropáčky a jejího manžela Jana z Kunovic. Původně byly součástí věže dolní brány, která byla i s barbakánem rovněž nově postavena. Tato brána je dobře patrná na vyobrazení města z roku 1592.
Při stavbě přední věže horní brány byl zasypán příkop před starší vnitřní věží, postavenou za Jana z Pernštejna. Před přední věží a barbakánem nebyl příkop průzkumem zjištěn a náznak příkopu, který se dříve uváděl v literatuře, tvořila pouze ohradní zeď.
Posledním stavebníkem, který zámek přestavěl do dnešní podoby, byl Zdeněk Žampach z Potštejna, jenž vlastnil hranické panství v letech 1595 až 1609. Jeho předchůdci, kteří na zámku sídlili, byli Jan z Kunovic (manžel Anny, dcery Jana Kropáče), Jan mladší ze Žerotína na Kolštejně (její druhý muž) a Jan Jetřich z Kunovic.
Přestavěný zámek byl směrem na sever prodloužen a byly sjednoceny obvodové zdi východního křídla. V téže době byl asi vybudován hlavní zámecký portál, jehož přesné datování není jednoznačné a zasloužil by si podrobný uměleckohistorický rozbor. V nádvoří byly dokončeny arkády a na bývalém příkopu bylo zbudováno jednopatrové severní křídlo. Jeho pilíře byly založeny na mohutných základových pasech v hluboké zavážce původního příkopu. Ale ani tyto mohutné pásy nedokázaly časem zabránit statickým poruchám křídla, které mělo celé přízemí koncipováno jako otevřené dvoulodí nesené bosovanými pilíři.
Patro tohoto křídla bylo původně při založení stavby plánováno jako otevřený dvoulodní arkádový prostor, který měl mít sloupy i balustrády kolem celého obvodu. Zdá se však, že v průběhu stavby, kdy už byly všude založeny kamenné parapety včetně středních sloupků s polovinou kuželek, byl projekt změněn. Na místo toskánských sloupů byly od severu, východu a západu vyzděny hranolové pilíře, nesoucí oblouky a klenbu. Sloupy byly ponechány pouze z jižní nádvorní strany. Celá tato strana má sloupy i kuželky zdobeny reliéfním ornamentem a na nosných sloupcích jsou plastické figury. Takto velkolepě pojatý prostor nemá v moravském prostředí obdoby a řadí se mezi unikáty pozdní renesance na Moravě. Po těchto úpravách nakonec zůstala otevřená arkáda nesena na zděných sloupcích na východní a západní straně. Směrem na sever zůstala otevřena boční pole a do krajních sloupků zbývajících tří polí byly vezděny boční příčky ke střední nosné zdi. Tato úzká místnost se třemi okny částečně chránila nádvoří zámku proti severním větrům. Dále byly provedeny osmiboké nástavby obou věží, jejichž dostavba je datována na korouhvičce jihozápadní věže rokem 1604.
Posledním majitelem, který na zámku trvale sídlil, byl od roku 1612 do pobělohorské konfiskace roku 1621 Václav Mol z Modřelic, jehož dílem byl nástavec nad hlavním portálem a štuková výzdoba reprezentačních místností v jižním křídle zámku. Po konfiskaci získal Hranice kardinál Dietrichštejn, sídlící trvale v Olomouci. Poté se na zámku prováděly pouze udržovací práce. V roce 1671 byly znovu postaveny nástavby obou věží s cibulovými kopulemi a otevřenými lucernami, které byly těžce poškozeny při dobývání města Švédy v roce 1645. Roku 1672 byly hospodářské části zámku přestavěny na zámecké sýpky a pivovar.
Devatenácté století přineslo, až na nenáročné klasicistní úpravy, vesměs destruktivní zásahy, související hlavně s výstavbou císařské silnice procházející městem. Roku 1829 byla snesena pro špatný stavební stav horní část menší zámecké věže. Dolní partie věže s průjezdem do města a bytem úředního mistra byla odstraněna roku 1846 při rozšiřování Zámecké ulice. V tomto roce byl také zasypán boční zámecký příkop, ohradní zeď zbourána a na jižní straně svedena k jihovýchodnímu nároží zámku. Při této úpravě byl odstraněn celý kropáčovský erbovní vývod, s výjimkou vzpomínaného jediného kusu, vylomeného roku 1944 při opravě zámku. Také ohradní zeď vlevo od zámecké brány, která uzavírala prostor sloužící jako kočárová kůlna, byla i s bránou roku 1846 znovu postavena podle projektu architekta Jondela. Do této zdi byly zasazeny čtyři kropáčovské znakové desky, umístěné původně na městských branách. Dolní brána byla podle literatury zbořena při výstavbě císařské silnice roku 1784, věže horní brány byly odstraněny kolem roku 1820. Od poloviny 19. století až do počátku 20. století byly postupně zazděny všechny oblouky a kuželkové balustrády zámeckých arkád a vsazena do nich zasklená okna. Tímto praktickým řešením získalo renesanční nádvoří erární vzhled. V roce 1943 byly odborně restaurovány štukové stropy jižního křídla
a současně bylo vyměněno zvětralé nadpraží hlavního portálu. Volnou kopii znakové desky provedl hranický kamenický mistr Josef Sosna. V roce 1988 byla zhotovena kopie celého zámeckého portálu a roku 1992 byla provedena jeho výměna sochařem Machalou. Při stavebně-historickém průzkumu zámku v roce 1995 bylo provedeno množství sond, při kterých byly nalezeny pozdně gotické články z původní stavby z období Pernštejnů. Některé z nich by mohly v budoucnosti sloužit jako názorné doklady stavební historie hranického zámku.
Od roku 1996 do roku 1998 proběhla velkorysá rekonstrukce zámeckého objektu pro potřeby Městského úřadu. Odstraněny byly zazdívky arkád, obnovena kuželková balustráda a restaurováno unikátní severní křídlo. V této podobě hranický zámek slouží jako důstojné sídlo správy města Hranic a současně je i ukázkou možnosti kultivovaného využití památky pro moderní účely.