Упершыню Гораждзе быў згаданы ў перыяд паміж 1379 і 1404 гадамі. З 1423 па 1878 гады знаходзіўся пад уладай Асманскай імперыі. У 1878 — 1918 гадах належаў Аўстра-Венгрыі. У Баснійскай вайне 1992—1995 гадоў, за горад ішлі цяжкія баі паміж сербамі і баснійцамі. У 1993 быў абвешчаны зонай пад абаронай ААН. Паводле Дэйтанскага пагаднення горад быў уключаны ў баснійска-харвацкую федэрацыі. З тых часоў ён з'яўляецца амаль анклавам, злучаным з астатняй тэрыторый федэрацыі тонкай палоскай зямлі.