Familien flyttet etterhvert til rn leilighet på Lower East Side. I mai 1896 døde Joseph Koenig, altså faren på grunn av komplikasjoner som følge av alkoholmisbruk. Da måtte Mary birda til livsunderholdet og begynte som hushjelp for Harry Payne Whitney.