I 1665 dro Stuyvesant til Nederlandene for rapportere om hans tid som guvernør. Etter at han kom tilbake Amerika tilbrakte han resten av sitt liv på sin gård på sekstito acre utenfor byen som ble kalt for , bortenfor strakte det seg skogsområder til landsbyen Haarlem. Et pæretre som han etter sigende skal ha brakt med seg fra Nederlandene i 1647 forble på hjørnet av 13. gate og 3. avenue inntil 1867 og hadde frukt nesten hvert år. Huset ble ødelagt av brann i 1777. Han bygde også en omfattende herskapsbolig av stein kalt Whitehall. Han døde i august 1672 og ble gravlagt ved St Mark's Church in-the-Bowery i Manhattan, New York.