Richards se casó dos veces: con Frances Chaffey en 1849 y con Ellen Chaffey Chislett en 1854.