袁殊引荐下与日本驻上海领事馆岩井英一会面，岩井要求中共与日本、东南局双方情报相互交流，潘汉年答应会帮「岩井公馆」（专门搜集重庆、英美情报的单位）在香港搜集关于英美、国军的资料，于是开始定期向日方汇报重庆、国军、英美情报。1941年12月，日军攻佔香港，潘汉年控制下的香港地下党在日军协助下安然无恙的前往上海获得特别通行证并撤离。随后岩井英一协助潘与汪政府的影佐祯昭会面，双方达成了互不侵犯的基本共识。1940年在经过饶漱石同意之下潘汉年与李士群取得联系，开始与新四军展开交流合作。1941年潘汉年住进李士群的私人