代开始拍摄香港电台剧集《小时候》、《狮子山下》时才走红。当年他于1975年加入香港电台电视部，1976年获高亮及麦当雄邀请加盟丽的电视，先后演出丽的多部经典长剧，包括《鳄鱼泪》、《变色龙》、《新变色龙》及《大地恩情》系列等。其时引来轰动，并使他获《华侨日报》连续三年（1978年至1980年）颁发「十大电视明星金球奖」。他在丽的电视甚至是后来的亚洲电视长期都是担任主角，备受重用；但他在无线电视演出时，则大多仅能以配角之身份出场，演出也较少。潘志文于1982年曾不获丽的电视续约，后来因不想有长合约困身而改签