Rolfsens tredje ekteskap i 1880 var med Martine Jeanette Collett Steenstrup (15. februar 1840, Fredrikstad – 1. april 1928, Oslo). Sammen fikk de to barn: Ella Sofie Rolfsen (1881–1970) og Ole Ambrosius Rolfsen (1882–1963).