Originario de Carolina del Norte, Richardson era un ex-receptor en los Baltimore Colts que había utilizado su prima del campeonato de la liga de 1959 para co-fundar la cadena de restaurantes Hardee's; más adelante sería presidente de los servicios de TW Services.