，母亲于其三岁时离家并另组家庭，吕童年则与祖母在彩虹邨生活；吕小学毕业于圣若瑟英文小学，升中时不选择升读直属中学，反而选择职业先修学校。他初中时曾就读中华基督教会扶轮中学，后曾于九龙三育中学重读，1991年首次报考会考得零分。吕曾三次重读中四，曾于港九潮州公会中学就读一年夜校，并于1994年再参加会考，取得2A1B2D1E（19分）成绩，其后于香港浸会大学宗教及哲学系修获学士学位（一级荣誉），香港中文大学神道学硕士，并获得菲律宾太历国立大学（Tarlac State University, TSU）博士学位