Hans far, James Endicott, var kinamisjonær, og var moderator for United Church of Canada fra 1926 til 1928. James Gareth var dermed misjonærbarn, og ble født i Kina som den tredje av familiens fem barn. Familien dro hjem til Canada i 1910.