Toomas Hendrik Ilves nació en Estocolmo (Suecia) el 26 de diciembre de 1953, en el seno de una familia de refugiados. Sus padres Endel e Irene Ilves huyeron de Estonia tras la ocupación soviética del Báltico durante la Segunda Guerra Mundial. Cuando tenía tres años, la familia emigró a los Estados Unidos para establecerse en Leonia, Nueva Jersey.