Etter at han sluttet i avisa skrev han flere erindringsbøker basert på historiske begivenheter i Norge fra mellomkrigstiden og opp mot 1970-tallet. Olav Larssen døde den 5. juli 1981 i Oslo og etterlot seg fire barn. Av de var Randi Bratteli gift med Trygve Bratteli.