Da Josef Dzjugasjvili i en alder av 15 år avsluttet sitt annet studieår ved seminaret, kom han i kontakt med de hemmelige marxistiske kretsene i seminarmiljøet. Han oppsøkte bokhandelen til en viss Tsjsjeidse, der unge radikale fikk tak i venstreorienterte verk. Det finnes en nedtegnelse fra seminarets stedfortredende oppasser fra 1897 der det fremgår at han flere ganger hadde grepet Dzjugasjvili med forbudte bøker: Charles Jean Marie Letourneaus , , og Victor Hugos og . Han leste også Balzac og Marx. Han leste blant annet av William Makepeace Thackeray i russisk oversettelse. I alt ble han tatt på fersk gjerning med slikt 13 ganger.