李继续从WordNet的单词数据库开始构建ImageNet，并使用了其许多功能。作为普林斯顿大学的助理教授，李飞飞组建了一个研究团队，致力于ImageNet项目。他们使用Amazon Mechanical Turk来帮助分类图像。他们在2009年美国佛罗里达州举行的计算机视觉与模式识别会议（CVPR）上首次以学术海报的形式展示了自己的数据库。
ImageNet挑战赛.ILSVRC旨在延续2005年起举办的较小规模的PASCAL VOC挑战赛，后者仅包含约2万张图像和20个对象类别。