避居香港。胡蝶和潘有声度过了一段堪称幸福的生活。1941年12月25日，香港政府、驻港英军向日本华南派遣军总司令酒井隆中将投降。为了表达自己对残暴日军的反抗，她把香港投降日称之为又一个“蝶耻日”。日军占据香港后中，为了利用中国名人出面宣传所谓的“大东亚共荣圈”。日方曾重金邀请胡蝶出演《胡蝶游东京》，但被她以自己已经息影，而且有了身孕，短期内无法再现银幕为由，严正拒绝。1942年，胡蝶夫妇领着两个年幼的儿女，跟随东江纵队港九大队艰难跋涉20多天，终于回到广东曲江。1942年11月24日到达陪都重庆。