I. M. Pei

Rancangan pertama yang diusulkan oleh Pei adalah sebuah piramida kaca besar yang akan membuat bagian dalamnya dibanjiri oleh sinar matahari. Hal ini merupakan lambang optimisme dan harapan yang telah ditunjukkan oleh pemerintahan Kennedy di AS. Nyonya Kennedy menyukai rancangan tersebut, tetapi mulai muncul penolakan di Cambridge (tempat yang pertama kali diusulkan sebagai lokasi perpustakaan tersebut) begitu proyek tersebut diumumkan. Banyak anggota masyarakat yang merasa khawatir bahwa perpustakaan tersebut akan menjadi tempat wisata, yang dianggap dapat mengakibatkan macet. Yang lainnya mempermasalahkan rancangan tersebut karena dianggap berbenturan dengan nuansa arsitektur Harvard Square yang ada di dekatnya. Pada pertengahan dasawarsa 1970-an, Pei mencoba mengusulkan rancangan baru, tetapi orang-orang yang menentang proyek tersebut masih bersikeras. Peristiwa tersebut menyakitkan hati Pei, yang telah menyekolahkan ketiga anaknya di Harvard. Meskipun ia jarang mengungkapkan rasa putus asanya, hal ini dapat dilihat dengan jelas oleh istrinya. "Aku bisa melihat betapa lelahnya dia dari cara dia membuka pintu (...)", ujarnya. "Langkah kakinya berat. Sangat sulit bagi I. M. untuk melihat bahwa banyak orang yang tak menginginkan bangunan tersebut."