Il est né à Pulaski, New York, le 22 août 1841. En 1861, il s'enrôle dans l'Union Army, et participe à la Seconde bataille de Bull Run, la Bataille de Fredericksburg, la Bataille de Chancellorsville, et de la Bataille de Seven Pines. En 1863, il quitte l'armée et devient commis à Washington DC. Là, il est devenu ami avec Walt Whitman et John Burroughs. Après la guerre, il a obtenu son diplôme de premier cycle de l'Université George-Washington et son diplôme de médecine à l'Université de Georgetown. En 1881, il participe aux soins prodigués au Président James A. Garfield après qu'il avait été abattu, et il y rencontre George Kennan et Alexander Graham Bell. En 1883 Baker est nommé professeur d'anatomie à l'Université de Georgetown, et en 1888, il est co-fondateur de la National Geographic Society. En 1889, il fut nommé directeur par intérim du Parc zoologique national de Washington, et en 1893, le devient officiellement. Il a pris sa retraite en 1916, et est décédé le 30 septembre 1918.