Fitch ble født i Kina som sønn av de presbyterianske kinamisjonærene George F. og Mary (McLellan) Fitch. Han tok eksamen ved College of Wooster i Ohio i 1906, og fra Union Theological Seminary i New York i 1909. Han ble ordinert for den presbyterianske kirke i 1909 og dro til Kina for å arbeide med YMCA i Shanghai.