Under Stalins styre ble Kolyma den mest beryktede regionen for Gulags arbeidsleire. En million mennesker eller mer kan ha omkommet på vei til området eller i Kolymas rekke av leirer der fangene måtte arbeide i gullgruver, med veibygging, tømmerhogst og anleggsvirksomhet mellom 1932 og 1954. Det var Kolymas rykte som fikk Aleksandr Solzjenitsyn, forfatteren av , til å karakterisere den som Gulag-systemets «pol av kulde og grusomhet». Monumentet Sorgens maske i Magadan minnes alle de som døde i Kolymas tvangsarbeidsleire.