Fish contrajo matrimonio con Julia Kean (descendiente del gobernador de Nueva Jersey William Livingston) en 1836.