Ilves ble i 2016 gift for tredje gang. Hans første kone var den amerikanske psykologen Merry Bullock som han har to barn med, sønnen Luukas (født 1987) og datteren Juulia Kristine (født 1992). I 2004 giftet han seg med sin samboer over lang tid Evelin Int-Lambot som han har en datter med, Kadri Keiu (født 2003). Den 17. april 2015 kunngjorde presidentparet sin skilsmisse.