Después de que el presidente John F. Kennedy fuera asesinado en noviembre de 1963, su familia y amigos discutieron sobre cómo construir una biblioteca que sirviera como memorial apropiado. Se formó un comité para asesorar a la viuda de Kennedy, Jacqueline, que tomaría la decisión final. El comité deliberó durante meses y consideró muchos arquitectos famosos. Finalmente, Kennedy escogió a Pei para que diseñara la biblioteca, basándose en dos consideraciones. Primero, apreció la variedad de ideas que había usado para proyectos anteriores. «Parecía que no tenía solo una manera de resolver un problema», dijo. «Parecía que enfocaba cada encargo pensando solo en él y entonces desarrollaba una manera de hacer algo bello». Finalmente, sin embargo, Kennedy tomó su decisión basándose en su conexión personal con Pei, y dijo que fue «una decisión emocional». Explicó: «Tenía tanto potencial, como Jack; nacieron en el mismo año. Decidí que sería divertido emprender el proyecto con él».