Tom Harkin er sønn av en irsk-amerikansk gruvearbeider og en slovensk immigrant. Han vokste opp i trange kår med fem søsken i et hus med hverken varmtvann eller ovn. Moren døde da sønnen var ti år gammel. Etter high school studerte han med stipend fra United States Navy ved Iowa State University, hvor han tok bachelorgrad i statsvitenskap og samfunnsøkonomi i 1962. Harkin tjenestegjorde som pilot i United States Navy 1962–1967, og ble uteksaminert fra Catholic University of America med kandidatgrad i rettsvitenskap i 1972. Han praktiserte i et par år som advokat.