Ilmar Talve var født i Russland av estiske foreldre, og flyttet ett år gammel tilbake til Estland. I 1942 tok han eksamen i etnologi ved Universitetet i Tartu.