Jabarkan Asano Mitsuakira (1632-1672) dari Istana Hiroshima

*Tahun di dalam tanda kurung adalah tahun berkuasa di Istana Hiroshima dan bukan tahun masa hidup

**Daimyo setelah Asano Nagaakira semuanya menerima 426.500 koku

Zaman Meiji hingga berakhirnya Perang Dunia II

Pada tahun 1871, Garnisun Kyushū yang merupakan satu dari enam garnisun yang dibentuk militer Jepang ditempatkan di dalam istana. Peran Hiroshima semakin penting sebagai kota militer setelah Garnisun Kyushū ditingkatkan menjadi Garnisun Hiroshima pada tahun 1873. Fasilitas militer seperti resimen ke-11 pasukan infantri dan sekolah taruna angkatan darat Hiroshima juga berada di dalam lingkungan istana.

Pada masa Peperangan Jiawu, markas besar angkatan perang kekaisaran Jepang (Daihonei) pindah untuk sementara ke dalam lingkungan istana karena letak Tokyo yang terlalu jauh dari medan pertempuran. Dari tanggal 15 September 1894 hingga 27 April 1895, Kaisar Meiji tinggal untuk sementara di Hiroshima. Parlemen kekaisaran Jepang juga pindah untuk sementara ke dalam lingkungan istana. Sampai berakhirnya Peperangan Jiawu, Hiroshima sebenarnya sempat menjadi ibu kota Jepang walaupun hanya beberapa bulan.

Di dalam lingkungan istana masih bisa dilihat situs bersejarah bekas markas besar angkatan perang kekaisaran Jepang. Letak Hiroshima dianggap strategis untuk relokasi markas komando karena jalur kereta api Sanyō sudah sampai ke Hiroshima pada bulan Juni 1894 dan kapal perang ukuran besar dapat merapat di pelabuhan Ujina (sekarang Pelabuhan Hiroshima).

Pada tahun 1931, menara utama istana ditetapkan pemerintah sebagai pusaka nasional Jepang. Pada tanggal 6 Agustus 1945 pukul 08:15 pagi, bangunan istana terbakar habis akibat bom atom. Sisa-sisa bangunan istana tidak dapat dikenali, walaupun ada kesaksian yang mengatakan bahan bangunan dari istana dipakai oleh warga kota yang mengalami kesulitan hidup. Lokasi istana ditetapkan sebagai situs bersejarah pada tanggal 31 Maret 1953.