Montgomery ble født i Breckenridge i Texas, og gikk på Moran High School i Texas og spilte college-fotball for Teax A&M. Han spilte profesjonell fotball i National Football League (NFL) som takler for Detroit Lions. Han spilte i 11 NFL-kamper i løpet av 1946-sesongen.