ImageNetは、物体認識ソフトウェアの研究で用いるために設計された大規模な画像データベースである。ImageNetでは、1400万を超える画像に手作業でアノテーションを行い、画像にどのような物体が写っているかを示している。また、100万枚以上の画像にも付与されている。ImageNetには、20,000を超えるカテゴリがあり、その中には「気球(balloon)」や「イチゴ(strawberry)」といった数百枚の画像で構成される一般的な物体カテゴリも含まれる。2010年から2017年まで、ImageNetプロジェクトは毎年、大規模な画像認識技術コンテストであるILSVRC(the ImageNet Large Scale Visual Recognition Challenge)を開催していた。このコンテストは、ソフトウェアが物体や情景をどれだけ正しく分類、検出できるかを競うものである。チャレンジでは、重複しないように調整された1000個のカテゴリが利用される。論文により、今のImageNetの最高なレコードは「CoCa(finetune)」である。

深層学習への貢献 
2012年9月30日、 AlexNetと呼ばれる畳み込みニューラルネットワーク（CNN）が、ILSVRC2012においてトップ5エラーで16.4%を達成した。これは、次点のものより約10%程度低い値であった。エコノミスト誌によれば、「ディープラーニングは突如として、AIコミュニティに留まらず、テクノロジー業界全体で注目を集めるようになった。」と評している。

2015年には、Microsoftが開発したがAlexNetを上回り、ImageNet2015コンテストで優勝した。

こうした大幅な性能向上の理由として、深層学習モデルの構造が発達したことや深層学習モデルの学習で並列計算に用いられるGPUの性能向上が著しいことに加え、深層学習モデルを十分に学習できるImageNetのような大規模データセットが登場したことも挙げられている。

ILSVRCは2017年に終了しているが、ImageNetのデータベースは現在でもモデルやアルゴリズムの性能を比較するためのベンチマークとして画像認識の分野でしばしば利用されている。

データベースの歴史 
AI研究者のフェイフェイ・リは、2006年にImageNetのアイデアに取り組み始めた。当時、大部分のAI研究がモデルとアルゴリズムに焦点を合わせていた中、LiはAIアルゴリズムの学習に利用できるデータセットを拡張、改善したいと考えていた。2007年に、LiはWordNetの作成者の1人であるプリンストン大学のChristiane Fellbaum教授と面会し、プロジェクトについて話し合った。この議論の結果、LiはWordNetの単語データベースを元に、ImageNetの構築を進めた。

プリンストン大学の助教授として、LiはImageNetプロジェクトに取り組むための研究者チームを編成した。彼らはAmazonMechanicalTurkを利用して画像の分類を支援した。

彼らは、フロリダで開催された2009年のConference on Computer Vision and Pattern Recognitionで、初めてデータベースを対外向けにポスターで発表した。

データセット 
ImageNetは、アノテーションの工程をクラウドソーシングしている。画像レベルのアノテーションは、「この画像にトラがいる」「この画像にはトラがいない」といった、画像内に特定のクラスのオブジェクトが存在するかどうかを示す。オブジェクトレベルのアノテーションは、示されたオブジェクトの周囲にバウンディングボックスを与える。 ImageNetは、WordNetのカテゴリを使用してオブジェクトを分類している。例えば犬に対しては120の犬種のカテゴリで分けられるなど、細かく分類されている。WordNetのカテゴリを使用することの欠点として、ImageNetに対して本来最適なカテゴリ分けよりも高尚なものになっている可能性があることが挙げられる。
2012年、ImageNetはアカデミックユーザーとしてMechanicalTurkを世界で最も利用していた。平均的なアノテーション作業者は、1分あたり50枚の画像を識別した。
ImageNetは画像のURLと画像それぞれに対するアノテーションのデータベースを提供しており、ImageNetから直接無料でダウンロードできるが、実際の画像自体はImageNetが所有しているわけではない。

ImageNet Challengeの歴史 

ImageNet Large Scale Visual Recognition Challenge(ILSVRC)は、2010年から2017年まで毎年実施されていた画像認識コンテストで、アルゴリズムを用いて学習したモデルがImageNetのデータを分類、検出する能力を競うものである。ILSVRCは、2005年に設立されたPASCAL VOCチャレンジという、より小規模なコンテストの後を継ぐことを目的としたものである。PASCAL VOCチャレンジには、約20,000枚の画像と20の分類クラスしか含まれていなかった。ImageNetを開かれたものにするため、Fei-FeiLiはPASCAL VOCチームに協同することを提案した。この取り組みは、研究チームが特定のデータセットでアルゴリズムを評価し、いくつかの視覚認識タスクでより高い精度を達成するために競争するというもので、これがILSVRCのはじまりである。

ILSVRCは、ImageNetの分類体系によって分類された1000の画像カテゴリから構成されるデータセットを使用する。2010年代は、画像処理が劇的に進歩した時期である。2011年頃には、ILSVRCの分類タスクにおけるTop-5 エラー率は約25％だった。その後2012年には、AlexNetと呼ばれる深層畳み込みニューラルネットを用いたモデルがTop-5 エラー率約16％を達成した。さらにそこからの数年間で、Top-5エラー率は数パーセントまで低下した。2012年のAlexNetのブレイクスルーは「それまでに存在していたものの組み合わせ」であったが、AlexNetは大量のデータを学習することで劇的な性能改善を図っており、この大量データを学習できるようになる改善は、業界全体で人工知能ブームが始まるきっかけとなった。2015年までに、Microsoftの研究者は、狭いILSVRCタスクにおいては、CNNの認識性能が人間の能力を超えたと報告した 。ただし、ILSVRCの主催者の1人であるOlga Russakovskyが2015年に指摘したように、機械学習プログラムは1つの画像に対して、1000のカテゴリのうち1つに属するものであると識別するだけで良いのに対し、人間はより多くのカテゴリを認識することができるし、（プログラムとは異なり）画像の文脈を判断することもできる。

2014年までに、のべ80を超える団体がILSVRCに参加した。
2015年には百度の研究者が、1週間のうちに2回までしかモデルを提出できないという制限を、複数のアカウントを用いることで破ったとして、1年間参加を禁じられた。その後百度は、関与したチームリーダーを解雇し、エンジニアに助言する委員会を設置すると発表した。

2017年には、参加した38チームのうち29チームが95％を超える精度を達成した。こうしたことから、ImageNetももはや深層学習技術の進展を測るベンチマークとしては、データ量が少ないと指摘されることもある。
精度の向上が進み上昇の余地が小さくなってきたことを理由に、2017年を最後に終了することを発表し、同年7月の大会が最後となった。

ImageNetの課題 
2019年に行われたImageNetとWordNetに関する様々な観点（分類体系、物体クラス、ラベリング）からの研究により、ほとんどの画像分類アプローチにImageNetやWordNetのデータセットのバイアスが深く埋め込まれていることが示されている。例えばGoogleの研究者は、2020年に、ImageNetのラベルを新たに付与し直しそのデータセットで複数の画像認識アルゴリズムの性能を評価したところ、性能を改善する効果がアルゴリズムの作成者が主張するものより小さくなったと指摘している。同時にアルゴリズムの性能向上が、こうしたImageNetのラベルの誤りに対して過学習している可能性も指摘している。また、1つの画像に複数の物体が写っているケースも多く、それがモデルの性能に影響を与えているという指摘もある。ImageNetは、こうしたバイアスが生じた原因に対処するための取り組みを進めている。
また、ImageNetの画像がデータ収集過程で顔にぼかしを入れていないというプライバシーの問題もある。
他に、人物の顔画像に対するカテゴリに侮蔑的な表現を含むものがあったことを2019年に明らかにし、そうしたカテゴリを除去したデータセットを新たに公開するといったデータ作成上の課題も表出している。