岁时结伙抢劫被逮捕，被判决要服8至16年的重劳役。在郡立监狱度过短暂时期后，被转送往少年劳役农场（juvenile work farms），花了三年时间待在社会服务之家（community home）。
乐手之路.布朗在狱中打过棒球，后因腿伤而中断，却因此在比赛中结识钢琴师Bobby Byrd，并与他在乔治亚州内的俱乐部驻演。后来布朗签下表演合约，与Bill Johnson合组「节奏福音星光四部曲」乐团，担任团内的鼓手与风琴手。