居香港，育有三女一子，2015年案发时，子女年龄分别为：长女许美玲（）19岁、次女许俪玲16岁、三女（）12岁，幼子（）11岁。案发时长女正在马来西亚读医科，次女在启新书院就读，三女和幼子在保良局蔡继有学校就读。2004至2008年，李泳怡在香港中文大学医学院修读麻醉及深切治疗学博士学位时，许金山是其指导老师，俩人年龄相差16年仍发展出忘年师生恋。2004年开始，李泳怡上门到许金山家中为许美玲和许俪玲补习中文。 许美玲在法庭上称自己首先发现李泳怡跟父亲许金山有染。约2008年开始，许金山和妻子黄秀芬关系