Vuoden 1991 vallankaappausyrityksen aikana Ahromejev palasi lomaltaan Sotšista ja tarjosi apuaan vallankaappaajille. Vaikka hän ei lopulta osallistunutkaan yritykseen, sen epäonnistuttua Ahromejev hirttäytyi Kremlin toimistossaan. Itsemurhaviestissään hän kertoi, ettei voinut enää elää, kun instituutiot, joille hän oli omistanut elämänsä, olivat tuhoutumassa. On myös ollut huhuja että hänet olisi murhattu, jotta häntä olisi estetty paljastamasta toisten kumppanuutta vallankaappausyrityksessä.