Hillersøy lå innlagt på Haukeland sykehus med kusma da krigen brøt ut, og 10. april fikk han og de andre som også var innlagt på sykehuset for kusma, beskjed om å melde seg på Marineholmen. De rømte fra sykehuset i sivile klær som sykesøstrene sørget for. Flukten gikk fra Bergen til Dale i Bruvik i bitende kulde og rundt en meter med snø. I farten hadde de ikke fått fatt i skikkelig skotøy, så de gikk i småsko. Underveis traff de også på tyskere, men det gikk heldigvis bra med alle mann. Ferden tok bortimot to døgn, og på veien overnattet de også i en løe. Heldigvis gikk alt godt og de fant veien til Dale. Fra Dale ble det tog til Voss, der var det samlingsplass/militærforlegning hvor de fikk utlevert våpen og uniformer. Ferden gikk videre med bil ned til Flom/Gudvangen, og over til Balholmen med båt. På Balholmen hadde marinen hovedkvarter under ledelse av kontreadmiral Carsten Tank-Nielsen. Her gikk Olai som vakt noen dager, før han kom om bord i en skøyte fra Høydalsfjorden.