Han var sønn av kontorist Johan Odin Olsen og hustru Marie Gurine Sæther. Familien flyttet fra Trondhjem til Namsos i 1905, og Asbjørn ble konfirmert der. Han giftet seg i 1919 med Constance (Kari) Greiff, datter av overrettssakfører og ordfører Karl Greiff. Blant deres barn var Constance Marie Greiff-Olsen, som ble gift med Nordlands fylkesmann Ole Aavatsmark, sønn av banksjef i Namsos sparebank Olav Aavatsmark og hustru Jorid Ekker.