Ilves ble født i Stockholm som sønn av estiske flyktninger og vokste opp i USA. Han gikk ut av i Leonia i New Jersey i 1972 som skolens beste elev. Han studerte deretter psykologi ved Columbia University hvor han ble uteksaminert i 1976 med bachelorgrad. Han tok deretter i 1978 mastergrad i psykologi fra University of Pennsylvania.