Stanley Hos oldefar var Charles Henry Maurice Bosman (1839–1892, av nederlandsk-jødisk avstamning) og hans kinesiske elskerinne Sze Tai (施娣, mandarin pinyin: ) som kom fra Bao'an (da et områdenavn som tar inn deler av Shenzhen og Hongkong). Hans bestefar var Ho Fook (何福, pinyin: ), bror til den store handelsmann Sir Robert Ho Tung. Stanley Ho var det niende av nitten barn av Ho Sai-kwong (何世光, pinyin: ).