Belafonte ble født i Harlem i New York City som sønn av Harold George Bellanfanti sr. fra Martinique og Melvine fra Jamaica. Han ble gitt en katolsk oppdragelse. Belafonte fikk navnet Harold George Bellanfanti jr. etter faren. Fra 1932 til 1939 bodde han hos bestemoren på Jamaica.