Da James Fisk var femten år gammel, i 1850, rømte han hjemmefra og sluttet seg til det omreisende sirkuset . Senere ble han kelner på et hotell, og deretter gikk i sin fars fotspor og ble omreisende kramkar. Han overførte det han hadde lært på sirkuset til sitt nye yrke og fikk farens virksomhet til å vokse. Deretter ble han selger for , et manufakturvarefirma i Boston.