Rolfsens andre ekteskap var sammen med Ellen Ovidia Lange (13. februar 1841 – 16. november 1878) fra Stavern. De bodde i første omgang på Strømsø deretter flyttet de til Øvre storgate på Bragernes. Sammen fikk de ti barn: Christian Lange Rolfsen (1864–1934), Ole Peter Rolfsen (1866–1894), Christine Rolfsen (1867–1942), Margit Kirstine Ovidia Rolfsen (1868–1872), Elda Rolfsen (1870–), Halvard Balthazar Rolfsen (1871–1950), Anna Rolfsen (1874–1958), Ovidia Margrete Rolfsen (1875–1964), siste to var dødfødte. Ellen Ovidia Lange døde i barsel i 1878.