Seine Eltern benannten ihn nach dem Missionar Elias Cornelius (1794–1832), der es seinen Vater ermöglicht hatte die Foreign Mission School zu besuchen. Elias war das fünfte von sechs Kindern. In seinem Geburtsjahr unterzeichnete sein Vater mit anderen Cherokee-Anführern den Vertrag von New Echota, wo der Rest des Cherokee-Landes im Südosten im Gegenzug für die Umsiedlung in das Indianer-Territorium westlich des Mississippi Rivers abgetreten wurde. Seine Mutter Harriet verstarb 1836, mehrere Monate nach der Geburt des siebten Kindes, welches Tod auf die Welt kam. Die Familie zog in das Indianer-Territorium noch vor der erzwungenen Umsiedlung im Jahr 1838. Sein Vater und drei andere Cherokee-Anführer wurden 1839 als Vergeltung für die Abtretung ihrer Stammeslandes im Vertrag von New Echota ermordet. Sein Onkel Stand Watie (1806–1871) überlebte den Anschlag. Zu ihrer Sicherheit wurden Elias und seine Geschwister zu der Familie ihrer Mutter in Connecticut gebracht, wo sie alle eine gute Ausbildung erhielten. In seiner Jugend studierte Boudinot Ingenieurwesen in Manchester (Vermont).