Savage war der Sohn des Juristen Richard Savage (1817–1903) und dessen Ehefrau Jane Moorhead Ewart. Am Goldrausch in Kalifornien wollte die Familie Savage ebenfalls teilhaben: Sein Vater ging 1850 nach Kalifornien, der Rest der Familie kam Anfang 1852 nach San Francisco. Als Charles Warren Stoddard eine Schule gründete, war Savage u. a. zusammen mit Charles de Young einer seiner ersten Schüler.