Saya mau tau Tahun-tahun menuntut ilmu dari I.M. Pei

Sebelum Pei menyelesaikan pendidikan menengahnya, ia memutuskan untuk kuliah di luar negeri. Ia diterima di sejumlah universitas, tetapi pada akhirnya memutuskan untuk masuk Universitas Pennsylvania. Pilihan Pei dilandasi dua hal. Saat belajar di Shanghai, ia membaca dengan saksama katalog-katalog lembaga perguruan tinggi dari berbagai belahan dunia. Program arsitektur di Universitas Pennsylvania berhasil menarik perhatiannya. Faktor besar lainnya adalah Hollywood. Pei terbius oleh penggambaran kehidupan kampus di film-film Bing Crosby yang benar-benar berbeda dengan suasana akademik di Tiongkok. "Kehidupan kampus di AS terlihat seperti kehidupan bersenang-senang", katanya pada tahun 2000. "Mengingat bahwa aku masih terlalu muda untuk bisa serius, aku ingin menjadi bagian darinya ... Kamu bisa merasakannya di film-film Bing Crosby. Kehidupan kampus di Amerika tampak sangat mengasyikkan. Ini bukanlah kenyataan, kita tahu itu. Meskipun begitu, pada masa itu, [kehidupan kampus AS] sangat menarik bagiku. Aku memutuskan itulah negara yang akan aku pilih."

Pada tahun 1935, Pei menumpangi sebuah perahu dan berlayar ke San Francisco, dan lalu ia melanjutkan perjalanannya dengan menaiki kereta ke Philadelphia. Namun, kenyataan yang ia lihat dengan mata kepalanya sendiri tidaklah sesuai dengan harapannya. Para profesor di Universitas Pennsylvania mendasarkan pengajaran mereka pada gaya Beaux-Arts yang berasal dari tradisi klasik Yunani dan Romawi. Pei lebih tertarik dengan arsitektur modern, dan juga merasa terintimidasi dengan kemampuan para murid lainnya dalam membuat rancangan. Ia memutuskan untuk beralih ke program teknik di Massachusetts Institute of Technology (MIT). Namun, setibanya di universitas tersebut, kepala jurusan arsitektur menyampaikan pendapatnya perihal bakat Pei di bidang perancangan, sehingga ia meyakinkan Pei untuk kembali mengambil jurusan arsitektur.

Fakultas arsitektur MIT juga berfokus pada aliran Beaux-Arts, dan Pei merasa tidak terinspirasi dengan gaya tersebut. Di perpustakaan, ia menemukan tiga buku karya arsitek Swiss-Prancis Le Corbusier. Pei terinspirasi dengan rancangan inovatif gaya internasional baru, yang memiliki ciri berupa bentuk sederhana dan penggunaan bahan kaca dan baja. Le Corbusier mengunjungi MIT pada November 1935, dan kunjungan tersebut sangat berdampak terhadap Pei: "Dua hari dengan Le Corbusier, atau 'Corbu' sebagaimana kami menyebutnya, mungkin merupakan hari-hari paling penting dalam pendidikan arsitekturku." Pei juga dipengaruhi oleh karya arsitek AS Frank Lloyd Wright. Pada tahun 1938, ia pergi ke Spring Green, Wisconsin, untuk mengunjungi bangunan Taliesin terkenal buatan Wright. Namun, setelah menunggu selama dua jam, ia meninggalkan tempat tersebut tanpa menemui Wright.

Meskipun ia tidak menyukai penekanan terhadap gaya Beaux-Arts di MIT, Pei unggul secara akademis. Kelak ia berkata, "Aku tentunya tidak menyesali masa-masa di MIT." Ia juga menambahkan bahwa "Di sana, aku mempelajari sains dan teknik pembangunan, yang sama pentingnya dengan arsitektur." Pei meraih gelar Sarjana Arsitektur pada tahun 1940.

Saat mengunjungi New York City pada akhir dasawarsa 1930-an, Pei bertemu dengan seorang murid Wellesley College yang bernama Eileen Loo. Mereka mulai berpacaran dan akhirnya menikah pada musim semi tahun 1942. Istrinya kemudian masuk program arsitektur bentang alam di Universitas Harvard, sehingga Pei dapat berkenalan dengan anggota-anggota fakultas di Harvard Graduate School of Design (GSD). Pei menyukai suasana di tempat tersebut, alhasil ia bergabung dengan GSD pada Desember 1942.

Kurang dari sebulan kemudian, Pei berhenti bekerja di Harvard dan kemudian bergabung dengan National Defense Research Committee, yakni badan yang mengoordinasikan penelitian teknologi senjata AS selama Perang Dunia II. Latar belakang Pei dalam bidang arsitektur dianggap sebagai modal; salah seorang anggota komite tersebut berkata kepadanya: "Jika kamu tahu bagaimana caranya membangun, kamu seharusnya juga tahu bagaimana caranya menghancurkan." Menjelang akhir perang melawan Jerman, Pei mulai memusatkan perhatiannya pada Perang Pasifik. AS menyadari bahwa bom-bom yang dipakai untuk menyerang gedung-gedung batu di Eropa tidak akan mujarab jika dipakai untuk menyerang kota-kota Jepang yang kebanyakan dibangun dari kayu dan kertas; maka Pei ditugaskan untuk mengerjakan bom-bom yang dapat memicu kebakaran. Pei bekerja selama dua setengah tahun di NDRC, tetapi ia tidak terlalu banyak mengungkapkan rincian pekerjaannya di komite tersebut.

Pada tahun 1945, Eileen melahirkan seorang anak laki-laki yang bernama T'ing Chung. Eileen keluar dari program arsitektur bentang alam agar dapat mengasuhnya. Pei kembali ke Harvard pada musim gugur tahun 1945 dan menjabat sebagai assistant professor. GSD kemudian berkembang menjadi lembaga yang menentang aliran Beaux-Arts. Penggeraknya adalah anggota-anggota Bauhaus, yakni sebuah gerakan arsitektur Eropa yang mendukung rancangan modernis. Rezim Nazi telah mengecam aliran Bauhaus, alhasil para pemimpin gerakan tersebut meninggalkan Jerman. Dua orang di antaranya, yakni Walter Gropius dan Marcel Breuer, mengemban jabatan di GSD. Pergerakan ini menarik perhatian Pei dan ia bekerja sama dengan kedua orang tersebut.

Salah satu proyek Pei di GSD adalah usulan rancangan sebuah museum seni di Shanghai. Ia ingin menciptakan suasana keaslian Tionghoa dalam rancangannya tanpa memakai bahan atau gaya tradisional. Rancangan tersebut didasarkan pada struktur-struktur modernis, yang disusun di sekitaran kebun di lapangan tengah, dengan latar alami yang serupa di dekatnya. Rancangan ini menuai pujian; Gropius menyebutnya "Hal terbaik dalam kelas master[ku]". Pei meraih gelar Master Arsitektur pada tahun 1946, dan kemudian mengajar di Harvard selama dua tahun.