Замак Химеџи датира из 1333. године, када је Акамацу Норимура саградио утврђење на врху брда Химејама. Тврђава је срушена и обновљена као замак Химејама 1346. године, а затим је преуређена у дворац Химеџи два века касније. Дворац Химеџи је 1581. године значајно преправио Тојотоми Хидејоши, додавши троспратну зграду замка. Године 1600, Токугава Иејасу доделио је замак Икеди Терумаси за помоћ у бици код Секигахаре, а Икеда је у потпуности обновио замак од 1601. до 1609. године, проширивши га у велики дворски комплекс. Неколико зграда је касније додао комплексу замка Хонда Тадамаса од 1617. до 1618. Скоро 700 година дворац Химеџи је остао нетакнут, чак и током бомбардовања Химеџија у Другом светском рату и природних катастрофа, укључујући Велики Хиншински земљотрес 1995.