ジェイムズ・スピードの父親は判事ジョン・スピード(john speed、1772-1840)、母親は2番目の妻ルーシー・ギルマー・フライ(lucy gilmer fry、1788-1874)であった。