Louis Eugene Walcott, som var hans opprinnelige navn, ble født i New York i Bronx og hadde sin oppvekst i i Boston, Massachusetts. Hans mor, Sarah Mae Manning, immigrerte i 1920-årene fra St. Kitts und Nevis; hans far, Percival Clarke, var en jamaicansk drosjesjåfør fra New York. I Boston gikk Louis på Boston Latin School og . Deretter studerte han ved i Nord-Carolina.