Pei ble født i Kanton i en familie fra Suzhou. Hans far var bankmann og ble senere direktør for Bank of China og guvernør i Kinas sentralbank. Hans familie flyttet senere til Hongkong, der de bodde i Peis grunnskoletid og flyttet deretter til Shanghai da hans far ble sjef for Bank of China.