Han hadde fransk far og engelsk mor. Han vokste opp i Slindon i West Sussex. Hans feministiske mor, Elizabeth Rayner Parkes, var også forfatter og i slekt med kjemikeren Joseph Priestley. Faren Louis Belloc var advokat og sønn av kunstneren Jean-Hilaire Belloc. Faren tapte penger på børsen og døde da Hilaire Belloc var fem år gammel; moren tok ham og hans søster Marie til England.