Bjerkås fikk gjennom sin religiøse oppvåkning en retning på motstanden mot okkupasjonsmakten, og hun begynte å gjøre sivil motstand. 1. juni 1940 ble hun arrestert første gang. Hun hadde da forsøkt å stoppe Josef Terboven (den øverste tyske sivile leder i Norge) fra å holde en tale på Slottsplassen i Oslo. Iført lotteuniformen sin dro hun til Oslo. Med seg hadde hun en lapp med påskrift fra Lukas 12: «Frykt ikke for dem som slår legemet ihjel og derefter ikke kan gjøre mere; men jeg vil vise eder hvem I skal frykte for: Frykt for ham som har makt både til å slå ihjel og til derefter å kaste i helvede! Ja, sier jeg eder, for ham skal I frykte.» Da hun kom til Slottsplassen mente hun at hun så general Nikolaus von Falkenhorst (den tyske militære leder i Norge) stå og snakke. Hun brøt da gjennom sperringene mens hun løftet et tysk nytestamente og ropte mot von Falkenhorst. Hun ble arrestert og avhørt i Gestapos hovedkvarter i Victoria Terrasse, men slapp etter en stund fri uten anmeldelse.