他在无线电视演出时，则大多仅能以配角之身份出场，演出也较少。潘志文于1982年曾不获丽的电视续约，后来因不想有长合约困身而改签部头合约。1990年代中开始减少在电视剧之演出，未几于1998年移民加拿大生活。期间担任过加拿大中文电台清谈节目主持，亦主持新时代电视节目《大城小聚》主持。其移民之原因出于为了女儿及自己的时装生意着想。当年潘在温哥华市中心开设时装店，很快便转做批发生意。2002年以后，他在亚洲电视拍摄不少电视剧，包括《万家灯火》等。2013年10月以部头合约形式重返无线电视，首项工作是参演2014年