Wilpert s-a născut în Tartu (Dorpat), Estonia. La fel ca toți germanii baltici, el a fost nevoit să părăsească Estonia după Pactul Molotov-Ribbentrop și ocuparea țării de către Uniunea Sovietică (1939-1940).