1964年7月，由于缅甸军政府以「国有化」为理由，将其在缅甸的产业没收，徐四民遂全家移居北京，并且出任中央华侨事务委员会委员。然而，自1966年文化大革命爆发后，徐四民因为其缅甸华侨身分，遭到红卫兵的批斗整肃并抄家，最后于1976年9月成功申请单程证避居香港。居港后徐于1977年创立支持左派立场的《镜报》月刊，并且自任总编辑。后来又在1978年成立镜报文化企业有限公司，同时自任为董事长。与此同时，文化大革命在1976年完结以后，中共立意重新恢复全国政协，徐四民遂在1978年获任命为第五届港区全国政协委员