Olaf Finsen var gift med Marie (Mie) Augusta Øllgaard, datter av høyesterettsdommer Hans Øllgaard i København.