Iosif Grigulevitš kuoli vuonna 1988. Hänen NKVD-jäsenyytensä tuli esille vasta, kun Neuvostoliitto hajosi ja kun niin kutsuttu Mitrohinin arkisto tuli 1990-luvun puolivälissä lännessä julkiseksi.