Han var sønn av kongressrepresentant og advokat Howard Baker sr. og Dora Ann Ladd. Han tok sin collegeutdannelse ved Tulane University i New Orleans. Under den andre verdenskrig tjenestegjorde han i United States Navy, hvis befalsskole var samlokalisert med University of the South i Sewanee.