Det er ikke klart når og hvordan Dzjugasjvili døde. Ifølge de offisielle tyske papirene som ble funnet etter krigen, døde han ved å løpe inn i et elektrisk gjerde i konsentrasjonsleiren Sachsenhausen, hvor han ble holdt fanget. Noen har hevdet at Jakov begikk selvmord i denne leiren, mens andre har antydet at han ble myrdet.