Butler var født i Nassau på Bahamas 11. august 1905 som sønn av George Raleigh Butler og hans kone Frances. Han fikk sin grunnskoleutdanning på George Washington School i Florida, public school i Rum Cay og Boys' Central School i Nassau. Da han var 17 år startet han sin egen dagligvareforretning. Den 14. oktober 1928 giftet han seg med Caroline Loretta Watson. De fikk syv sønner og tre døtre.