Родился 22 декабря 1818 года в Филадельфии в семье потомственных военных. Его мать Анна Изард была дочерью видного деятеля Войны за независимость, делегата Континентального конгресса, а затем сенатора от Южной Каролины Ральфа Изарда (1742—1804), в 1794 году занимавшего пост временного президента Соединённых Штатов. После смерти отца в 1827 году мать переехала в в долине реки Гудзон.