De Peyster schrieb ein ausgiebiges militärgeschichtliches Werk über die Schlacht von Saratoga und stiftete 1887 ein Denkmal, das sogenannte Boot Monument, das an die heldenhafte Verwundung von Benedict Arnold in dieser Schlacht erinnert, obwohl Arnolds Name auf dem Denkmal nicht genannt wird, sondern nur sein Stiefel dargestellt wird. 1905 kaufte De Peyster den Herrensitz von Sir William Johnson, der seit 1755 als Fort Johnson bekannt war, und schenkte ihn der Montgomery County Historical Society, die in Amsterdam, New York siedelte.