Джеймс Джордж Ставридис родился 15 февраля 1955 года в городе Уэст-Палм-Бич (Флорида, США) в семье грека П. Джорджа Зафириса Ставридиса и немки Ширли Энн Шейффер. Родители его отца иммигрировали в США из Западной Анатолии (сегодня территория Турции) в ходе геноцида греков в 1913—1923 гг., а семья матери происходит из пенсильванских немцев.