Ord nacque a Cumberland (Maryland) da James e Rebecca Ord. Secondo la tradizione familiare James Ord sarebbe un figlio illegittimo di Giorgio IV del Regno Unito e di Maria Fitzherbert, ma è più probabile che fosse figlio di Ralph Ord, battezzato a Wapping, Middlesex, nel 1757, figlio di John Ord di Berwick-upon-Tweed. Fu considerato un genio matematico e fu iscritto alla United States Military Academy dal presidente Andrew Jackson. Il suo compagno di stanza a West Point fu il futuro generale William Tecumseh Sherman. Si laureò nel 1839 e fu assegnato come sottotenente al 3º artiglieria. Combatté la seconda guerra Seminole in Florida e fu promosso tenente.