Brown avla juristeksamen ved University of Kentucky og gjorde karriere i næringslivets tjeneste. Som deleier i Kentucky Fried Chicken bidro han til at hurtigmatkjeden ble et verdenskjent varemerke, til og med større enn McDonald’s på det tidspunkt da Brown solgte sin andel av KFC i 1971. Brown ville spesielt satse på franchisetjenestens logo som forestiller grunnleggeren Harland D. Sanders. Deretter var Brown eier av NBA-laget Buffalo Braves som han solgte i 1978 i byttehandel mot Boston Celtics. Browns tid som Celtics' eier ble kortvarig, ettersom han solgte laget allerede i 1979 i samband med at han stilte opp i guvernørsvalget i Kentucky.