Après l'assassinat du président des États-Unis John Fitzgerald Kennedy en , sa famille et ses amis réfléchissent à la meilleure façon de construire une bibliothèque présidentielle qui constituerait un mémorial approprié. Un comité est formé pour conseiller la veuve Jacqueline Kennedy, responsable de la décision finale. Le groupe délibère pendant des mois et examine les travaux de nombreux architectes renommés. Finalement, Jacqueline Kennedy choisit Pei pour concevoir la bibliothèque, sur la base de deux considérations : d'une part, elle apprécie la variété des idées qu'il a pu avoir pour des projets antérieurs et elle apprécie aussi sa capacité à considérer chaque commande comme unique. Cependant, elle fait son choix également en fonction de son lien personnel avec Pei. Elle évoque plus tard , et dit de Pei qu'il a .