Lubin entstammte einer jüdischen Familie, die 1853 nach erst nach England, und 1855 nach dem Tod des Vaters in die Vereinigten Staaten auswanderte. Nach dem Grundschulbesuch in New York arbeitete er in Attleboro, Massachusetts, vier Jahre im Goldschmiede- und Juwelierbetrieb seines älteren Bruders Simon. 1865 folgte er seiner bereits verheirateten Schwester Jeanette nach San Francisco, wo er einige Monate als Juwelier arbeitete, dann aber zu einem Bauholzunternehmen nach Los Angeles ging. Von 1868 bis 1871 suchte er in Arizona erfolglos nach Gold. Auf dem Rückweg nach New York verlor er beim Großen Brand von Chicago bis auf seine Kleidung und eine Violine alles. Er arbeitete dann als Vertreter für eine Lampenfabrik.