Stewart nació en el Condado de Wayne (Nueva York) en 1825, y siendo todavía un niño, se mudó con sus padres al Condado de Trumbull. De joven fue profesor de matemáticas en Ohio, y en 1849 comenzó a asistir a la Universidad de Yale, pero en 1850 se mudó a California, atraído por la fiebre del oro. Llegó a San Francisco, y al poco tiempo comenzó a dedicarse a la minería cerca de Nevada City.