Alfonso Teofilo Brown ble født 5. juli 1902 i havnebyen Colón, Panama. Foreldrene hans var afro-karibiske immigranter, faren hans døde da Brown var tretten år gammel, mens moren jobbet som som renholder. Han ble interessert i boksing da han som ung voksen jobbet for United States Shipping Board, ved Panamakanalsonen, og var vitne til amerikanske soldater som bokset. Han debuterte som proff i en alder av 20, hvor han bokset i fluevekt-klassen og vant den panamanske tittelen "Isthmus Flyweight. Browns opptreden fanget oppmerksomheten til boksing manager Dave Lumiansky som tok ham med til New York i 1923, hvor han videre også begynte å delta i bantamvekt-klassen. Han flyttet deretter til Paris hvor han danset kabaret når han ikke bokset. Brown var åpent homofil og var i et romantisk forhold med poeten Jean Cocteau som på et tidspunkt også var hans boksing manager.