Jabarkan Pendudukan Jepang (1942-1945) dari Istana Bukit Serene

Sultan Ibrahim menjadi teman pribadi Tokugawa Yoshichika pada 1920an. Tokugawa berasal dari klan Tokugawa, dan para leluhurnya adalah para pemimpin militer (Shogun dalam bahasa Jepang) yang memerintah Jepang dari abad ke-16 sampai ke-19. Saat Jepang menginvasi Malaya, Tokugawa disertai dengan pasukan pimpinan Jenderal Yamashita Tomoyuki dan disambut hangat oleh Sultan Ibrahim saat mereka mencapai Johor Bahru pada akhir Januari 1942.

Yamashita dan para perwiranya kemudian menempatkan mereka sendiri di Istana Bukit Serene dan gedung sekretariat negara bagian, Gedung Sultan Ibrahim dalam rangka melakukan invasi Singapura. Dari istana, ia mengamati gerak-gerik Angkatan Darat dan Laut Australia di Selat Johor. Yamashita menggunakan menara istana tersebut sebagai tempat melihat pandangan mata burung Singapura.

Meskipun dinasihati oleh personil militer tingkat atasnya bahwa istana tersebut adalah sebuah target yang mudah, Yamashita percaya bahwa Angkatan Darat Inggris tidak akan menyerang Istana Bukit Serene karena istana tersebut merupakan kebanggaan dan tempat tinggal dari Sultan Johor. Prediksi Yamashita ternyata benar karena Angkatan Darat Inggris tidak menyerang istana tersebut.

Tak lama sebelum Jepang menyerah pada 1945, Sultan Ibrahim diusir dari tempat tinggalnya di Istana Bukit Serene dan dipaksa tinggal di Istana Pasir Pelangi, istana putra mahkota.