James Clark var den eldste av tre barn av James J. Lenox-Conyngham Clark og Marion Caroline Dehra, født Chichester. Hans bror var Robin Chichester-Clark og hans søster, Penelope Hobhouse.