Ilves nació en una familia de refugiados estonios que emigró a los Estados Unidos cuando él tenía tres años.