Най-старите сведения за замъка са от 1333 година, когато Акамацу Норима построява първото укрепление на хълма Химеяма. Укреплението е разрушено и построено наново през 1346 година с името Химеяма, а два века по-късно са добавени пристройки и замъкът бива наречен Химеджи. Преустройството е извършено през 1581 година от Тойотоми Хидейоши, който добавя и триетажна охранителна кула. През 1600 година Токугава Иеясу подарява замъка на Икеда Терумаса в знак на почит за помощта му в битката при Секигахара, и между 1601 и 1609 Химеджи е отново разрушен и построен наново, този път като цял отбранителен комплекс. Между 1617 и 1618 Хонда Тадамаса добавя още няколко сгради към комплекса. В следващите 400 години замъкът Химеджи остава непокътнат, дори след тежките американски бомбардировки през Втората световна война и земетресението в Кобе през 1995.