Harte giftet seg med Anna Griswold den 11. august 1832 i San Rafael i California. Hun var eldre enn ham og godt etablert i sin egen musikalske karriere. Ingen av de respektive familiene godkjente ekteskapet.