La historia de la mansión empezó en 1909, cuando Herman Collyer, ginecólogo y su esposa Susie, cantante de ópera, se trasladaron a vivir al edificio de la esquina de la Quinta Avenida y la calle 128, en el barrio de Harlem, Nueva York, que por entonces era un barrio selecto.