Aasmund Brynildsen giftet seg med forfatteren Karin Bang i 1952. Paret var bosatt på Tjøme og Veierland.