Aalberg innledet et forhold med Ildri Lund, som han møtte på en reise i mars 1942. Lund ble senere ansatt som kontorhjelp i Rinnans organisasjon, men forholdet varte krigen ut, selv om hun til slutt ble klar over at han hadde en kone og fire barn.