Accusato di plagio nel 1929 per un errore del suo editore, si difese con energia in una serie di scritti e per evitare ulteriori polemiche viaggiò in Georgia e in Armenia di cui scrisse nel 1930 in "Viaggio in Armenia", opera duramente criticata dalla "Pravda". Le tendenze anticonformiste e di critica al sistema staliniano di Mandel'štam, che pure nei primi anni aveva convintamente aderito al bolscevismo, deflagrarono nel novembre del 1933, quando compose e diffuse il celebre "Epigramma di Stalin" che era successo a Lenin a capo del paese e definito da Mandel'štam «il montanaro del Cremlino», le cui «tozze dita come vermi sono grasse» . Si trattava di una feroce e sarcastica critica del regime comunista di Stalin, a cui il poeta attribuiva la colpa della grande carestia provocata in Ucraina dalla collettivizzazione forzata.