未能未上大学。1969年文革开始后不久，卢曾因为父亲是商人的关系而被牵连，成为批斗对象，并被下放梅州及海南岛过农民生活。辗转间再通过人事关系转到东莞接受劳改。及后由于在被下放到东莞农村时期得知有人以游泳方式偷渡到香港，他便效法。在1970年偷渡往香港新界流浮山海岸，随后往警署自首及获得居港权。初时他在观塘租住板间房，同时任职纱厂及码头工人、工厂会计员以及画花技工等职位以煳口。卢海鹏的心愿为当演员，于是他自荐应征话剧社与特约演员公司工作。又投考1970年第一期无线电视艺员训练班。但无线电视的艺员训练班设有