I studieårene i Oslo ble Birkeli kjent med Astri Toft og forlovet seg med henne. Flere år senere skulle han til Madagaskar som misjonær, men der var konen til en kollega død av malaria kort tid etter ankomst. Tofts mor motsatte seg at datteren skulle bosette seg i et så farlig klima, og klarte å få forlovelsen brutt. Birkeli giftet seg etter hvert med en norsk kvinne på Madagaskar, men ble alvorlig syk og dro i 1944 hjem til Norge. Paret fikk en datter etter krigen. Men tidlig på 1960-tallet tok han og Toft opp kontakten, selv om hun da var gift med en amerikansk diplomat og mor til en sønn. Hun ble med Birkeli på reiser, og da hun ble enke, besøkte Birkeli henne hjemme i en av høyblokkene på Enerhaugen. Hennes mann hadde fortalt broren hennes om forholdet, og fra slutten av 1960-tallet presset denne broren Birkeli for store penger. 10. april 1970 underskrev Birkeli et brev, skrevet av utpresseren, der Birkeli i syv punkter bekjente forholdet. Selv om han var klar over at visste om forholdet, fortsatte han å treffe Toft frem til september 1972, da han måtte fratre på dagen.