Charles Hoy Fort var av nederlandsk avstamning. Han var den eldste av tre barn; hans yngre brødre var Clarence og Raymond. Barna ble strengt oppdratt av faren, som brukte korporlig straff. Allerede i tidslig alder interesserte han seg for naturen, men på skolen gjorde han det likevel ikke særlig godt innen naturfagene.