Joseph Shih ble født i Ningbo i provinsen Zhejiang, og vokste opp i en familie med fem sønner og fem døtre. I 1944 begynte han i jesuittenes novisiat i Xujiahui i Shanghai, og forlot Shanghai i 1949 med de yngre jesuittfratre via Macau med Filippinene som mål.