今属新北市三芝区）的一个地主家庭，他的父亲拥有田地．育有四儿三女，在兄弟姊妹中卢园的教育程度最高。小时候卢园读于北新庄公学校，后就读于淡水公学校高等科（相当于国民政府的初中），与前中华民国总统李登辉是同班同学，后来卢园进入淡水中学，在校内学习剑道，曾受日本人校长有坂一世的教导。中学毕业后，卢园赴日本留学，就读于长野县上田专门学校纤维化学科，1944年毕业后在四国纤维场工作，第二次世界大战末期被日本政府征召入伍并在当地当兵，最终的官阶是中尉。战争结束后卢园回到淡水中学担任化学教师，期间住在学校的日式教师宿舍，