Gestapo gjennomførte i 1942 en større opprulling av heimefronten i stavangerområdet. Da Ola Horve ble arrestert 28. april 1942, greide Otto Olsen sammen med John Evertsen å snike seg inn i Horves leilighet, bak ryggen på den tyske vakten. Der greide de å fjerne diverse kompromitterende materiale. Sommeren 1942 ble Olsen ettersøkt av Gestapo, og han fant da tiden moden for å flykte. Han reiste først til Førre i Jøsenfjorden, der han ble boende til september. Deretter dro han til Oslo og så til Sverige.