直至小学四年级时，因为家道中落，便举家搬迁到新界石岗居住。当时他的家庭经营一个小农场，但生活环境一般，连完善的照明系统都没有，而附近又没有邻居和市集，所以家人要到元朗的市集购买物资。他在中学时期读至中三就选择工作，后来于元朗一间学店完成中五课程，并考毕中学会考公开试。他再进修的原因是因为当时的人认为未中五毕业及未考过公开试的人是小学生而已，而不是中学生。楼南光入行前曾当过机场行李服务生、飞机舱上货员、工厂员工、石油气搬运工人、农场工人等等。之后无线电视招收第六期训练班学员，当年二十多岁的他于是投考成为训练生