曾在1991年与何超琼结婚，其后离婚。2008年与李嘉欣结婚。女儿许雪元，伍恩伦是许世勋的女婿。此外，他还有3名孙子：许建中、许建德（许晋干儿子）、许建彤（许晋亨儿子）和4名曾孙：许百贤、许柏朗、许加缙、许洺悦（许晋干孙子、孙女）。2009年2月1日赛马，头场C跑道第四班1400米，蔡约翰马房的「赏惑」由骑师韦健仕策骑以14倍半冷胜出头马，马主正是许世勋，许世勋夫妇及许晋亨，李嘉欣夫妇2人亦有到场拉头马。(ATV 电视直播，HKJC 资料)。另外同日第8场百週年纪念短途盃，香港一级赛1000米，亦由名下