家族乃书香世家，父亲是当年广东资深画家和学者吕灿铭（1892-1963年），于广州经营古董书画店。他自幼就受其父薰陶而热爱绘画，亦因家中经营古董书画，得以品阅及临摹无数历代国画大师的杰作和真迹，而造就了其深厚的国画传统笔墨技法。他曾经拜近代国画名师黄宾虹短暂学画。1946年毕业于广州大学，获经济学位，是年他在广州首次主办广东全省水灾义展而崭露头角。1948年移到香港定居。1949年任职香港油麻地小轮公司稽查员。工余之外不忘笔墨，乃孜孜不倦创作，四处写生。由于他在码头工作，每天观察群山和海港，早期创作