I 1930 giftet Aarvold seg med Gudrun Johansen, og sammen fikk de tre barn. Olaf Aarvold døde 3. august 1991 i Sandefjord. Hans liv og virke er et vitnesbyrd om en dedikert prest og en standhaftig politiker som tjente både kirken og samfunnet gjennom turbulente tider.