Sultan Ibrahim menjadi teman pribadi Tokugawa Yoshichika pada 1920an. Tokugawa berasal dari klan Tokugawa, dan para leluhurnya adalah para pemimpin militer (Shogun dalam bahasa Jepang) yang memerintah Jepang dari abad ke-16 sampai ke-19. Saat Jepang menginvasi Malaya, Tokugawa disertai dengan pasukan pimpinan Jenderal Yamashita Tomoyuki dan disambut hangat oleh Sultan Ibrahim saat mereka mencapai Johor Bahru pada akhir Januari 1942.