拿大后，仍然与日本关系密切。井上加奈雄于温哥华技术学校（中学）毕业后，1938年依家人吩咐到日本升学，至第二次世界大战爆发时仍留在日本。
参与战争.1942年，井上加奈雄被征召加入大日本帝国陆军担任繙译员。他的军阶是军曹，被派驻香港深水埗战俘营，该处囚禁的加拿大籍战俘。井上加奈雄异常残暴，经常随意殴打战俘，声称是为了报复他在加拿大遭受的歧视。他在审讯后期供称，在加拿大时饱受各种欺压，被称为「黄色的小杂种」──跟他在审讯早期的说法相反。井上加奈雄于翌年退役，但在1944年加入驻香