У VIII столітті поселення Хімеджі було центром провінції Харіма. В середньовіччі на базі поселення виник замок Хімеджі, яким володіли самурайські роди Акамацу, Кодера, Курода. У 1580–1582 роках замок і призамко містечко було тимчасовою резиденцією об'єднувача Японії Тойотомі Хідейоші, який капітально перебудував їх. Після битви при Секіґахарі 1600 року магнат Ікеда Терумаса отримав у нагороду провінцію Харіма, де заснував великий уділ Хімеджі. Він розбудував містечко й надав замку сучасного вигляду.