Fish nació en Greenwich Village, Nueva York, sus padres fueron Nicholas Fish y Elizabeth Stuyvesant (descendiente de Peter Stuyvesant de Nueva Ámsterdam).