Som tenåring ble Torrio leder av ungsomsbanden James Street Gang. Han sparte sammen nok penger til å kunne åpne en biljardbar for gruppen, og herfra utviklet det seg illegale aktiviteter som gambling og lånehaivirksomhet. Hans forretningssans ble lagt merke til av Paolo Vaccarelli alias Paul Kelly, leder av Five Points Gang.