Sternberg war der Sohn des lutheranischen Pfarrers Levi Sternberg, der am Hartwick Seminar in New York unterrichtete. Die Vorfahren waren im frühen 18. Jahrhundert aus der Pfalz eingewandert. Sternberg wurde in der Schule seines Vaters unterrichtet, unterbrochen von Zeiten, in denen er selbst in Landschulen unterrichtete oder in einem Buchladen arbeitete. Er studierte Medizin am "College of Surgeons and Physicians of New York" in Buffalo mit dem Abschluss (M.D.) 1860. Im Sezessionskrieg war er Chirurg bei der US Army und nahm an der Ersten Schlacht von Bull Run (wo er in Gefangenschaft geriet) sowie der Peninsular Campaign (wo er in Gaines Mill und Malvern Hill in der Sieben-Tage-Schlacht beteiligt war) teil, bevor er Typhusfieber bekam und nur noch in Hospitälern Dienst tat. Er erreichte im Bürgerkrieg den Brevet-Rang eines Majors und blieb nach dem Krieg in der Armee. 1865 heiratete er Louisa Russell, die wenige Jahre später an Cholera starb. Sternberg war in Kansas stationiert, wo er an den Indianerkriegen teilnahm und nebenbei Fossilien sammelte. 1866 wurde er Captain. 1870 wurde er nach Governors Island in New York versetzt und war außerdem drei Jahre in Fort Barrancas in Florida. Während dieser Zeit hatte er viele Patienten mit Gelbfieber, an dem er auch selbst erkrankte. Er veröffentlichte darüber und galt bald als Spezialist dafür. 1875 wurde er Major und kam 1879 nach Washington D.C. und wurde der Gelbfieberkommission zugeordnet, die die Krankheit unter anderem auf Kuba studierte. Die Kommission befürwortete 1880, weitere Forschungen in der Bakteriologie abzuwarten.