Han kom som gutt til Setesdal fordi hans far, kunstmaleren Henrik Asor Hansen, arbeidet her i lengre perioder. Etter at foreldrene ble skilt, bosatte moren seg på Langeid i Bygland sammen med Axel og bror hans.