Im Alter von neun Jahren begann Scott Briefmarken zu sammeln. Nachdem er bereits in London mit Briefmarken handelte, wanderte er 1863 nach Amerika aus und wurde noch im selben Jahr amerikanischer Staatsbürger. Zunächst war er in New York wieder Markenhändler, um dann 1865 am kalifornischen Goldrausch teilzunehmen. Nachdem er dort mit dem Schürfhandel keinen Erfolg hatte kehrte er nach zwei Jahren nach New York zurück, um wiederum mit Briefmarken zu handeln. In den nächsten zwei Jahrzehnten wurde er der führende Briefmarkenhändler des Landes.