Pei utdannet seg ved St. Paul's College i Hongkong og på universitet i Shanghai, før han i 1935 flyttet til USA. Da han var 18 år begynte han på studier i arkitektur ved University of Pennsylvania. I 1940 tok han også en eksamen ved Massachusetts Institute of Technology. Han studerte senere ved Harvard. Kort etter studiene ble han medlem av National Defense Research Committee i Princeton.