Puri Himeji
di istana utama atau di rumah kediaman Nishi-yashiki yang ada di Shi-no-Hashi-Mon (wilayah Nakakuruwa).
Sakakibara Masamine yang merupakan pemilik istana pada era Tokugawa Yoshimune membebaskan Takao Dayu, seorang wanita penghibur dari distrik lampu merah Yoshiwara dan menempatkannya di rumah kediaman Nishi-yashiki. Lokasi rumah kediaman Nishi-yashiki dan halamannya yang luas sekarang menjadi taman Koko-en yang ada di sebelah barat istana.
Sekarang ini bisa dijumpai taman bunga Peony Putri Sen yang menempati lokasi bekas reruntuhan istana utama di wilayah Sannomaru, sedangkan di bekas lokasi rumah kediaman "Mukai-yashiki" dijadikan tanah lapang bernama Sannomaru Hiroba. Lapangan ini merupakan tempat bersantai warga kota Himeji di akhir pekan dan sering dimeriahkan dengan berbagai macam acara dan pertunjukan.
Pendapat yang bisa dipercaya mengatakan bahwa Istana Himeji dibangun di zaman Istana Utara-Istana Selatan oleh Akamatsu Norimura pada tahun 1336 di lokasi bekas kuil Shomyoji yang dibangun oleh Akamatsu Sadanori. Klan Yamana menguasai istana untuk sementara waktu setelah klan Akamatsu hancur dalam Perang Kakitsu tahun 1441 yang terjadi pada zaman Muromachi, tetapi klan Akamatsu berhasil merebutnya kembali di tengah kekacau-balauan Perang Onin.
Di paruh pertama abad ke-16, klan Kodera (yang masih sanak keluarga klan Akamatsu) berkuasa di dataran rendah Harima dan Istana Gochaku (sekarang ada di Gochaku, Mikunino-cho, kota Himeji) digunakan sebagai pusat kekuasaan. Kuroda Shigetaka seorang "Hikan" dari klan Kodera ditunjuk untuk bertugas di Istana Himeji sebagai penjaga istana (berdasarkan catatan ini, ada pendapat yang mengatakan istana mulai dibangun pada saat itu).
Kuroda Shigetaka memperbaiki Istana Himeji agar terlihat pantas untuk ukuran rumah kediaman resmi pejabat, tetapi setelah selesai ternyata menjadi istana model abad pertengahan yang memanfaatkan topografi Gunung Hime (pastinya masih dalam ukuran kecil dibandingkan dengan istana yang tersisa sekarang). Sampai tahun-tahun awal zaman Tensho, klan Kuroda dari generasi ke
generasi bertugas menjadi penjaga sementara istana. Shigetaka secara berturutan mewariskan istana kepada anak laki-lakinya yang bernama Kuroda Mototaka dan cucunya yang bernama Kuroda Yoshitaka.
Kemudian pada tahun 1576, atas perintah Oda Nobunaga, Hashiba Hideyoshi diutus untuk pergi ke Harima. Di daerah Harima sedang berlangsung perang sengit antara pasukan klan Oda dan pasukan pemberontak daerah Chugoku yang dipimpin klan Mori. Pertempuran akhirnya dimenangkan oleh klan Oda, sedangkan klan Kodera yang berada di pihak klan Mori berada di ambang kehancuran. Sebagai
akibatnya, klan Kodera yang secara turun temurun menjadi "Hikan" mau tidak mau harus menerima aliansi dengan Hideyoshi. Kuroda Yoshitaka pun kemudian diangkat menjadi tangan Hideyoshi.
Pada tahun 1580, Kuroda Yoshitaka mempersembahkan Istana Himeji sebagai tempat kediaman untuk Toyotomi Hideyoshi. Hideyoshi lalu melakukan pembangunan istana secara besar-besaran. Istana Himeji diperbaiki dengan menggunakan model bangunan istana abad pertengahan dengan menggunakan Gunung Hime sebagai titik pusatnya. Tembok dari susunan batu ("Ishigaki") yang sedang populer pada saat itu digunakan
untuk memagari istana. Pada waktu itu, Hideyoshi juga membangun menara istana (ada yang mengatakan atapnya masih terdiri dari 3 susun). Pada saat yang bersamaan, kota seputar istana pun dibangun dalam skala besar-besaran di bagian selatan istana. Himeji dipersiapkan menjadi pusat negeri Harima. Salah satu dari jalan utama antar daerah yang disebut jalan Sanyo-do juga dibelokkan agar melewati kota yang mengelilingi Istana Himeji.
Hideyoshi dalam sekejap berhasil menjadi orang nomor satu setelah berhasil menghabisi Akechi Mitsuhide dalam pertempuran Yamazaki di bulan Juni tahun 1582. Akechi Mitsuhide dianggap perlu dihabisi karena membunuh Oda Nobunaga yang merupakan tuannya sendiri. Pada tahun 1583, Hideyoshi pindah ke Istana Osaka yang dibangunnya dengan maksud untuk menyatukan
seluruh Jepang. Istana Himeji lalu diserahkan kepada adik laki-lakinya yang bernama Hashiba Hidenaga (nantinya dikenal sebagai Toyotomi Hidenaga). Pada tahun 1585 Hidenaga dipindahkan ke Yamato Koriyama dan kekuasaan beralih kepada sanak keluarganya yang bernama Kinoshita Iesada.
Pada tahun 1601, Iesada minta dipindahkan. Iesada pindah ke daerah Bichu (sekarang sebelah barat Prefektur Okayama) dengan menerima 25000 koku. Sebagai penggantinya, penguasaan istana beralih kepada Ikeda Terumasa yang setelah menang dalam Perang Sekigahara menerima 520000 koku dan hak penguasaan negeri Harima. Di bawah pimpinan Terumasa, Istana Himeji berubah menjadi istana yang megah setelah dilakukan perbaikan secara besar-besaran yang memakan waktu 8 tahun.
Pada tahun 1617, penerus sisa-sisa klan Ikeda adalah Ikeda Mitsumasa yang masih kanak-kanak. Dengan alasan tidak percaya diri menanggung beban menjaga daerah penting yang dipercayakan kepadaya, Mitsumasa minta dipindahkan ke Istana Tottori di Inaba. Honda Tadatomo (yang berasal dari Kuwana, Ise) dipindahkan ke Istana Himeji dengan menerima 150000 koku. Seluruh bagian Nishinomaru hampir selesai dibangun ketika Honda Tadatoki menikahi Putri Sen pada tahun 1618.
Dengan alasan posisinya yang strategis, pimpinan wilayah feodal Himeji hanya dipercayakan kepada klan yang masih keluarga dekat Tokugawa dan klan yang secara turun-temurun sudah menjadi daimyo. Penguasaan Himeji secara berputar-putar bergantian dipercayakan kepada klan Okudaira Matsudaira yang menjadi penerus klan Honda, disambung klan Echizen Matsudaira dan klan
Sakakibara, lalu kembali ke klan Echizen Matsudaira, dan sekali lagi kepada klan Honda, kemudian dikembalikan ke klan Sakakibara, dan sekali lagi kepada klan Echizen Matsudaira.
Keadaan menjadi stabil dan klan yang memimpin Himeji untuk sementara tidak berganti-ganti sejak klan Sakai dari Istana Maebashi di Kozuke (sekarang Prefektur Gunma) masuk ke Istana Himeji pada tahun 1749. Beban berat memerintah wilayah Himeji menyebabkan klan Sakai hampir bangkrut. Wilayah Himeji ternyata tidak cukup diperintah dengan anggaran sebanyak 150000 koku, apalagi sebagai daimyo turun temurun klan Sakai sering dibebani tugas-tugas berat dari pemerintah Bakufu.
Istana Himeji juga mengalami berkali-kali pemugaran pada zaman Edo, tetapi keadaan teknik bangunan pada saat itu tidak dapat menghentikan amblasnya fondasi dari batu yang tidak kuat menahan beban berat menara utama. Tiang-tiang penyangga dan balok penopang bahkan sudah sangat lapuk, sampai-sampai di paruh akhir zaman Edo ada lagu rakyat yang antara lain liriknya berbunyi "Istana di Himeji yang miring ke timur, apakah engkau sedang rindu pada Edo."
Di akhir zaman Bakufu semasa Perang Toba-Fushimi, penguasa Istana Himeji adalah Sakai Tadato yang berkedudukan di Edo karena memegang jabatan "Roju" (tangan sekaligus pelaksana pemerintahan) untuk shogun Tokugawa Yoshinobu. Pada saat itu, shogun berada di pihak Bakufu yang dimusuhi kaisar. Sebagai akibatnya, Istana Himeji dikepung oleh 1500 prajurit gabungan
di bawah pimpinan penguasa wilayah Okayama dan penguasa wilayah Tatsuno. Dalam keadaan terjepit, para menteri senior yang disebut "Karo" yang dipercayakan menjaga wilayah Himeji sudah memutuskan untuk menyerahkan istana. Tapi pada saat yang sama, pemimpin pasukan Okayama bernama Ikeda Shigemasa yang masih keturunan Ikeda Terumasa (pendiri Istana Himeji) melepaskan beberapa kali
tembakan artileri peluru kosong ke arah istana Himeji dengan tujuan untuk menakut-nakuti. Di antara peluru-peluru kosong yang ditembakkan ternyata tercampur peluru mortir sungguhan yang salah satunya tepat mengenai sasaran menghantam pintu gerbang Fukuchu-Mon di bagian barat daya istana. Pada akhirnya memang semua berakhir dengan damai, istana diserahkan tanpa perlawanan dan perang perebutan Istana Himeji dapat dihindari.