Olsen brøt med NKP og Sovjet etter at hans daværende kone, den polske kommunisten Lola, ble rammet i forbindelse med Moskvaprosessene på slutten av 1930-tallet. Hun ble henrettet sammen med hele den illegale ledelsen for det polske kommunistpartiet, som på det tidspunkt befant seg i Moskva.