Jabarkan Masa kecil dari I.M. Pei

Leluhur Pei dapat ditilik kembali ke masa Dinasti Ming, ketika keluarganya pindah dari provinsi Anhui ke Suzhou. Keluarganya menjadi kaya dengan menjual tumbuhan-tumbuhan berkhasiat, dan mereka menegaskan pentingnya membantu orang yang kesusahan. Ieoh Ming Pei lahir pada tanggal 26 April 1917 dari pasangan Tsuyee Pei dan Lien Kwun. Keluarganya pindah ke Hong Kong setahun kemudian. Keluarga tersebut pada akhirnya dikaruniai lima anak. Saat masih kecil, Pei sangat dekat dengan ibunya, yang merupakan seorang penganut agama Buddha yang taat dan dikenal akan kemampuannya dalam bermain seruling. Ibunya sering mengajak Pei untuk ikut dalam kegiatan retret meditasi. Namun, hubungan Pei dengan ayahnya kurang rukun, meskipun ia tetap menghormati ayahnya.

Berkat keberhasilan para leluhur Pei, keluarganya termasuk ke dalam golongan atas, tetapi Pei berkata bahwa ayahnya "tidaklah terdidik dalam hal seni". Pei lebih tertarik dengan musik dan seni-seni lainnya bila dibandingkan dengan ayahnya, sehingga ia menjelajahi dunia seni sendirian. "Aku mendidik diriku sendiri", katanya.

Saat berumur sepuluh tahun, Pei dan keluarganya pindah ke Shanghai setelah ayahnya naik jabatan. Pei masuk Saint Johns Middle School yang dikelola oleh para misionaris Protestan. Pelajaran di sekolah tersebut berat; para murid hanya diperbolehkan bersenang-senang selama satu setengah hari setiap bulannya. Pei gemar bermain biliar dan menonton film-film Hollywood, khususnya karya-karya Buster Keaton dan Charlie Chaplin. Ia juga mempelajari bahasa Inggris dengan membaca Alkitab dan novel-novel karya Charles Dickens.

Shanghai dijuluki "Paris di Timur" berkat bangunan-bangunannya yang bergaya internasional. Nuansa arsitektur global di kota tersebut berpengaruh terhadap Pei, dari kawasan tepi laut Bund sampai Park Hotel. Ia juga terkesima dengan kebun-kebun di Suzhou, dan di kota tersebut ia menjalani musim panas dengan keluarganya dan sering mengunjungi altar nenek moyang. Kebun Shizilin, yang dibangun pada abad ke-14 oleh seorang biksu Buddha, sangat berpengaruh terhadap Pei. Formasi batu, jembatan batu, dan air terjun di kebun tersebut terus membekas di benak Pei selama beberapa dasawarsa. Ia kelak berkata mengenai bagaimana ia menyukai perpaduan alam dan struktur buatan manusia di kebun tersebut.

Tak lama setelah pindah ke Shanghai, ibu Pei terserang kanker. Untuk meringankan rasa sakit yang diderita, dokter menyarankan penggunaan opium, sehingga Pei ditugaskan oleh ibunya untuk mempersiapkan pipanya. Ibunya tutup usia tak lama setelah ulang tahun Pei yang ketiga belas, alhasil Pei dirundung kesedihan yang mendalam. Pei dan saudara-saudaranya kemudian dititipkan kepada kerabat jauh, sementara ayah mereka menjadi semakin disibukkan oleh pekerjaannya. Terkait dengan hal ini, Pei berkata: "Ayahku mulai menjalani kehidupan secara terpisah tak lama setelah itu." Ayahnya kemudian menikahi seorang wanita bernama Aileen.