1972年秋、NHLの対抗馬として設立目前のWHA（ワールドホッケーアソシエーション）は、ニューヨーク州ロングアイランドのナッソー郡に新設されたナッソー・コロシアムに新チームを置こうと計画していた。NHLは、北米最大のメトロ地域での競合を嫌い（NHLには既にニューヨーク・レンジャースが存在していた）、わずか2年前に2チームを増加したにも関わらず、アトランタとロングアイランドへ新たにフランチャイズの設置を承認した。ロングアイランドに新設されたニューヨーク・アイランダースは、近接するニューヨーク・レンジャースへ地域権料として400万ドルの支払義務を負った。それ以来、レンジャースはアイランダースの最大のライバルとなっている。アイランダースは、ボストン・ブルーインズからベテランフォワードのエド・ウェストフォール (Ed Westfall) を、下部リーグからビリー・ハリス (Billy Harris) を、そして幾人かの堅実な選手を獲得したが、ドラフト指名した数人の選手には、WHAへ逃げられてしまった。結果的に、アイランダースの最初のシーズンは、NHL史上最悪レベルの12勝6分60敗という惨憺たるものだった。翌シーズン、チームはヘッドコーチにアル・アーバー（Al Arbour） を招聘するとともに、泥臭いフォワードのボブ・ナイストロム（Bob Nystrom）、将来のスーパースターディフェンス、デニ・ポトヴァン（Denis Potvin）、進境著しいゴールテンダー、ビリー・スミス (Billy Smith) らをAHL（アメリカホッケー協会）の優勝チーム、スプリングフィールド・インディアンズから獲得すると、チームの好転はほどなく訪れた。最初の2年間を除くと、毎年プレーオフの常連となり、NHLで最も成功したチームと称されるようになった。初めてプレーオフに進出した1975年、アイランダースは、中心選手のポトヴァン以下、フォワードのハリス、ナイストロム、Clark Gillies、ゴーリーのスミス、Glenn Reschという陣容だった。アイランダースは第1ラウンドでライバルのレンジャースと対戦し、勝利を収めた。4戦先勝の第2ラウンドはピッツバーグ・ペンギンズと対戦し、3連敗を喫して窮地に追い込まれたが、その後奇跡的な4連勝を果たした。次のフィラデルフィア・フライヤーズとの準決勝でも、3戦連敗した後に3連勝し、奇跡の再現かと思われたが、最終戦に敗れた。次の2シーズン（1976年、1977年）、アイランダースは相次いで準決勝まで進出したが、いずれもスタンレー・カップ優勝のモントリオール・カナディアンズに敗退した。1978年は第2ラウンドでトロント・メープルリーフスに敗れ、1979年はブライアン・トロティエとマイク・ボッシーによる強力な攻撃力を有しながら準決勝でレンジャースの勝利を許してしまった。このことから、アイランダースは「万年準決勝」「花嫁になれない花嫁付添人」というレッテルが貼られるようになった。1980年、アイランダースはついに壁を越えて、スタンレー・カップの栄冠に輝いた。この年、トロティエとボッシーが強力ツートップを形成し、新たなスター Butch Goring が加入した。しかし、真のヒーローと称賛を浴びたのは、フィラデルフィア・フライヤーズとのスタンレー・カップ決勝第6戦の延長で決勝ゴールを挙げたボブ・ナイストロムだった。1981年、アイランダースはリーグのトップチームに成長し、ミネソタ・ノーススターズを降して2度目のスタンレー・カップ獲得を果たした。翌シーズンには当時の記録となった14連勝をするなど、レギュラーシーズンのタイトルを獲得し、バンクーバー・カナックスを破り三たびスタンレー・カップ優勝に輝いた。さらに翌シーズン、アイランダースは、ウェイン・グレツキー率いるエドモントン・オイラーズを下して、スタンレー・カップ4連覇の偉業を遂げた。1984年のアイランダースは、あと僅かで5連覇に手が届くところだったが、スタンレー・カップ決勝でオイラーズに敗れた。1980年代後期までに、ボッシー、ポトヴァン、そして殿堂入りコーチのアル・アーバー(Al Arbour)は引退し、年をとったトロティエがケガで休みがちとなった。そして1989年のアイランダースは15シーズンぶりにプレーオフ進出を逃した。アイランダースは、1990年代初頭にチーム再建へ着手し、ピエール・タージョン (Pierre Turgeon)、デレク・キング (Derek King)、レイ・フェラーロ (Ray Ferraro)、スティーブ・トーマス (Steve Thomas)、Benoit Hogueらを獲得した。名伯楽アーバーもヘッドコーチに復帰、1993年にチームは再び上昇した。ウェールズ・カンファレンス決勝では、マリオ・ルミュー率いる前年の優勝チーム、ピッツバーグ・ペンギンズを最終第7戦の延長で下すという劇的な勝利を収めた。しかし、その後モントリオール・カナディアンズに敗退した。この栄光は長くは続かなかった。1996年までに主力選手のほとんどは他チームへ流出し、1995年から2001年までの間、プレーオフ進出を逃し続けた。また、1995年にアイランダースはチームロゴを漁師ロゴへ変更したが、いたく不評をかこったため、2年も経たないうちに元のロゴへ再変更された。この斜陽の時代、アイランダースの屈辱はスケートリンク上のみにとどまらなかった。1996年にダラスの実業家John Spanoがチームを購入したが、1年も経たないうちにSpanoの奸計が露呈することとなった。Spanoは、チーム購入の際にNHLへ財務諸表を提出していたが、これらがほぼ全て不正なものであることが判明した。チームは前オーナーのJohn Pickettの元へ戻り、Spanoは収監されてしまった。Pickettは次に、Howard MilsteinとSteve Glucksternらのグループにチームを売却した。最初のうちこそMilsteinとGlucksternは、チーム再建のため有望な選手を獲得するなど多くの投資を行っていたが、それも長続きしないままに、緊縮財政へ方針転換してしまった。年俸100万ドルを超える選手はことごとくトレードに出され、2000年になるとMilsteinとGlucksternはコンピュータ・アソシエイツ社へチームを売り払った。これらの出来事はESPN製作のドキュメンタリー番組で取り上げられており、ギャリー・ベットマンコミッショナーやSpano自身が出演し、俳優であるケヴィン・コナリーのインタビューに答え、経緯を詳細に語っている。オーナー権者が安定したことで、アイランダースは復活の道を歩み始めた。2001-2002シーズンに備え、オタワからアレクセイ・ヤシン (Alexei Yashin)、デトロイトからクリス・オズグッド (Chris Osgood)、バッファローからマイケル・ペカ (Michael Peca) をそれぞれ獲得した。その後、プレーオフは進出するものの、第1ラウンドでの敗退が続いた。一方で、ヤシンは不良債権化し、2006-2007年終了時に契約を買い取られた(Buyout)。2000年ドラフトの全体1位指名選手、リック・ディピエトロ (Rick DiPietro)と15年契約を結んだが、ディピエトロも故障連発で不良債権化している。このようなこともあり、その後チームは再建期に入る。順位こそ低迷するものの、ジョン・タバレス (John Tavares) やカイル・オクポソ (Kyle Okposo)、ジョッシュ・ベイリー (Josh Bailey) などの若手選手を続々獲得して復活を狙っている。2012年10月、本拠アリーナのナッソー・コロシアムが老朽化したことに伴い、2015-16シーズンから本拠アリーナをブルックリン区（こちらもロングアイランドにある）のバークレイズ・センターに移転することが発表された。なお、バークレイズ・センターを本拠地とするNBAのネッツは1976年までナッソー・コロシアムを本拠地としていたので、約30年ぶりに同じアリーナを共用することになる。2017年12月、アイランダースの新アリーナとなるベルモントパーク・アリーナがベルモントパーク競馬場の敷地に建設されることが決定した。新アリーナは2021年に完成予定である。