Fue el cuarto de los diez hijos que tuvo Huo Endi (霍恩第, "Huò Ēndì") y segundo de tres varones, junto con sus hermanos Huo Yuanqing (霍元卿, "Huò Yuánqīng") y Huo Yuandong (霍元栋, "Huò Yuándòng").