Det var en svår , hård vinter för det ståtliga huset vid femte avenyen.