Himeji-borgen kan dateres tilbage til 1333, hvor Akamatsu Norimura opførte en fæstning på toppen af Himeyama-bakken. Fæstningen blev revet ned og genopført som Himeyama-borgen i 1346 og ombygget til Himeji-borgen et par hundrede år senere. Snart efter, i 1581, blev borgen markant ombygget i 1581 af Toyotomi Hideyoshi, som blandt andet opførte et treetagers forsvarstårn. I 1600 skænkede Tokugawa Ieyasu borgen til Ikeda Terumasa for hans hjælp i slaget ved Sekigahara, og Ikeda ombyggede fuldstændig borgen i perioden 1601-09, hvorved den blev til et større borgkompleks. Senere blev adskillige bygninger tilføjet af Honda Tadamasa i perioden 1617-18. Siden har borgen forblevet nogenlunde intakt, selv under heftige bombardementer af byen under anden verdenskrig og jordskælvet i 1995.