Han ble født i universitetsbyen Tartu, der faren, Karl Taagepera, var professor i veterinærmedisin. Høsten 1944 flyktet familien fra Estland, idet Sovjetunionen invaderte landet. De levde i eksil i Pinneberg i Tyskland, senere i Marrakech i Fransk Marokko og i Toronto i Canada.