Filho de Stephanos Carathéodory, um diplomata grego a serviço da Sublime Porta. A família Carathéodory tem uma longa tradição diplomática, e diversos membros da família ocuparam importantes cargos no governo em Constantinopla. Seu tio-avô Alexander Carathéodory Pascha, pai de sua mulher Euphrosyne, representou o Império Otomano como Ministro das Relações Exteriores no Congresso de Berlim (1878). A família é originária da aldeia Vosnochori (Βοσνοχώρι), atualmente Nea Vissa (Νέα Βύσσα), nas imediações de Orestiada.