Ekteskapet var vanskelig fra begynnelsen. En omtale av forfatteren mente at hun var hemmet av en ekstrem sjalusi mens en annen biograf, Henry C. Merwin, privat hadde konkludert at hun var «bortimot umulig å leve med». Det er nok ikke så langt unna sannheten: til tross for de var gift i nær førti år bodde paret sammen i kun seksten år. Anna Bret Harte, som hun siden ble kjent som, døde i 1920, og overlevde ham med atten år. De fikk likevel fire barn sammen: Griswold (1863), Francis (1865), Jessamy (1873), og Ethel (1875).