Allerede sommeren 1940 organiserte han det som gjennom det kommende året var en av de tre største motstandsorganisasjonene i Bergen. Sammen med en av de andre gruppene, organisert av major Kjeld Bugge, dannet Haukelands gruppe grunnlaget for det som senere ble Milorg distrikt D20:2. Den tredje gruppen, Stein-organisasjonen, ble sprengt av Gestapo i 1941. Han vekslet med Fredrik W. Rieber-Mohn, som hadde vært sammen med Haukeland i hans gruppe, om å være Milorgs distriktsleder i Bergen. Haukeland var nestkommandrende 1941 og leder 1942–1943, inntil han i 1943 ble arrestert. Han ble først sendt til konsentrasjonsleiren Sachsenhausen, senere til Neuengamme.