一直以来在香港娱乐圈都有一种惯例，富豪和女明星或多或少都会扯上关系，潘迪生也不例外，当年他曾和有着“女版成龙”的功夫女星杨紫琼有过一段婚姻，80年代潘迪生和洪金宝、岑建勋创立了的德宝电影公司，潘迪生见到杨紫琼的第一眼便对其念念不忘