ガバナーズ島
その後数ヶ月にわたってこの島の防衛力は引き続き改善され、同年7月12日に、ハドソン川をタッパン・ジーまで上ってきた戦列艦HMSフェニックスやHMSローズと交戦した。英国軍はタッパン・ジーまで北上してきたが、植民地側の大砲は英国軍司令官にイースト川進入をためらわせるほどの十分な損害を与えた。またこの砦塁は、ロングアイランドの戦いで英国陸軍が同年8月27日頃にブルックリン・ハイツ奪取を試みた後での、ワシントンによるブルックリンからマンハッタンへの撤退成功に貢献した。
戦略上の誤算だと思われるが、反乱軍の軍需品は下流約3.2kmで待機する英国軍の船に殆どまたは全く損害を与えなかった。英国軍がマンハッタンに退却した2日後、大陸軍はブルックリンおよびガバナーズ島から引き揚げ、英国はガバナーズ島を奪還した。1776年9月2日から14日にかけて、新たな英国駐留兵はマンハッタンにあるジョージ砦正面の砲台にてワシントンの銃での連射を行った。
9月6日、失敗に終わったこの島での米国側タートル潜水艇による破壊工作は、史上初めて記録された潜水艦攻撃となった。この砦は今後の戦争に向けて1783年の撤収の日まで英国軍に占有された。この時期に、英国軍はガバナーズ島の防護を改善し続けていた。
1963年、国防長官のロバート・マクナマラは、費用を節約するために余剰の軍事施設とりわけ海軍造船所の閉鎖実現可能性を調査し始めた。1964年5月に国防総省は、ジェイ砦、ブルックリン海軍工廠、ブルックリン陸軍倉庫 (Brooklyn Army Terminal) の閉鎖を検討していると発表した。3施設での従業員の抗議にもかかわらず、11月にマクナマラはジェイ砦が閉鎖される100近くの軍事施設の1つになると発表した。1965年2月、アメリカ沿岸警備隊は施設をニューヨーク市内に統合するためジェイ砦に移転する許可を求めたと発表した。 沿岸警備隊はこの島を、学校など多くの施設を統合する契機になり、またこの地域や大西洋への活動拠点になると見ていた。
ブロンズ銘板を設置した記念碑は、建物406と407の間に石の装飾が施された記念碑的なレンガ製ベンチがあり、1938年に公共事業促進局によって建てられた。当初1954年にリゲットホールの南に建てられたアーリー・バード記念碑は、ライト兄弟によるこの島での初飛行を記念したもので、彼らの飛行機プロペラのブロンズ鋳像である。
1633年、ニューネーデルラント5番目の総督ウーター・ヴァン・ツィラー (Wouter van Twiller) は連隊104人と共にNoten Eylandtに到着し、後に自分の個人的用途のためこの島を接収した。彼は証書を作成することで1637年6月16日に農場を確保し、その証書には先住民の代表であるレナペ族の指導者2名(CacapeteynoとPewiha)による署名がなされた。ヴァン・ツィラーは島に農場を開拓してその地に風車まで建設、1642年にネーデルラント連邦共和国に帰国した。
1648年までにその風車は恐らく破壊され、動作不能状態を確認した植民地総督ピーター・ストイフェサントがそれを焼き払った。その後Noten Eylandtは1652年から1664年にかけてオランダ人に保養地として使用されていたとされている。ヴァン・ツィラーがニューネーデルラントを去って以後この島が公有地のままになっていたという事実以外に、オランダ植民地時代の島の用途に関する文献は殆ど存在していない。
1664年にニューネーデルラントは条件付きでイングランドに割譲され、1665年6月にイングランド人がこの入植地をニューヨークと改名した。1674年までに英国がこの島を完全に支配した。