Aalberg ble født i Sparbu, Nord-Trøndelag, i 1903. Han ble tatt ut av skolen etter 5. klasse, da han ikke klarte å følge undervisningen. Psykiatrisk vurdering under rettsoppgjøret etter krigen konkluderte med at han hadde en mental utvikling tilsvarende et barn på ni og et halvt år. Dette ble imidlertid ikke opplevd som tydelig for dem som kjente ham i voksen alder, der han ble beskrevet som en fredsæl og sympatisk person.