Allen studerade vid University of Alabama. Han arbetade som advokat i Gadsden och deltog i andra världskriget. Han var viceguvernör i Alabama 1951-1955 och 1963-1967. Allen invaldes i senaten i 1968 års kongressval och omvaldes 1974. Han var en av de mest konservativa demokrater i senaten och en aktiv motståndare till 1977 års Panamakanalfördrag som möjliggjorde överlåtandet av Panamakanalzonen tillbaka till Panama.