Als Stewart noch ein Kind war, zogen seine Eltern in das Trumbull County in Ohio. Als junger Mann war er zunächst Mathematiklehrer in Ohio. 1849 begann er ein Studium an der Yale University, das er jedoch 1850 abbrach, um nach Kalifornien zu ziehen. Wie viele junge Männer seiner Zeit zog ihn der Goldrausch dorthin. Er kam in San Francisco an, verließ die Stadt aber bald wieder, um in der Nähe von Nevada City, Kalifornien, nach Gold zu suchen. Zugleich studierte er Rechtswissenschaft. 1852 wurde Stewart als Jurist in Nevada City zugelassen. Er wurde alsbald zum Staatsanwalt ernannt und war 1854, im Alter von 27 Jahren, für kurze Zeit Attorney General von Kalifornien.