后他于无线电视新闻部兼职，随着名传媒人梁天伟实习，负责翻译编辑与外景报导新闻工作，毕业后正式加入无线新闻部，担任外电翻译员。1981年，潘源良在无线工作至第九个月，因本身喜欢创作的性格使然，毅然转往丽的电视（亚洲电视前身）担任助理编导，参与制作《大侠霍元甲》、《陈真》等剧集。1983年，他又转至香港电台电视部戏剧组，任助导和编剧，期间制作了《香港、香港》和《温馨集》。而他第一首发表的填词作品就是《温馨集》的主题曲——〈浊世暖流清〉，由黎小田作曲，雷安娜主唱。此外，他亦参与《齐唱新歌》三至五集的填词工作。