Ole Ambrosius Rolfsens første ekteskap var med Kirsten Christine Thams (24. november 1829 – 13. august 1861) som døde av tuberkulose i 1861. Sammen fikk de to barn, Einar Rolfsen(1854–) og Maren Kirstine (1856–).