37年11月上海失守。不久，明星公司在上海枫林桥的总厂被日军占领，明星公司从此不复存在。此时丈夫潘有声已在香港发展事业，于是胡蝶携同家人避居香港。胡蝶和潘有声度过了一段堪称幸福的生活。1941年12月25日，香港政府、驻港英军向日本华南派遣军总司令酒井隆中将投降。为了表达自己对残暴日军的反抗，她把香港投降日称之为又一个“蝶耻日”。日军占据香港后中，为了利用中国名人出面宣传所谓的“大东亚共荣圈”。日方曾重金邀请胡蝶出演《胡蝶游东京》，但被她以自己已经息影，而且有了身孕，短期内无法再现银幕为由，严正拒绝。