Yamashita dan para perwiranya kemudian menempatkan mereka sendiri di Istana Bukit Serene dan gedung sekretariat negara bagian, Gedung Sultan Ibrahim dalam rangka melakukan invasi Singapura. Dari istana, ia mengamati gerak-gerik Angkatan Darat dan Laut Australia di Selat Johor. Yamashita menggunakan menara istana tersebut sebagai tempat melihat pandangan mata burung Singapura.