Fei Xiaotong kom fra en fremstående, men ikke rik familie. Faren, Fei Pu'an (费朴安) var utdannet i de kinesiske klassikere og hadde tatt graden i den kinesiske embedsmannseksamen, studert i Japan, og grunnlagt en middelskole. Feis mor, Yang Niulan (杨纽兰), var kristen, og datter av en regjeringsembedsmann, og også høyt utdannet, hun hadde grunnlagt en småskole i Wujiang som Fei gikk på.