På grunn av hans gamle forbindelser til Stalin og Budjonnyj, syntes Jegorov å være trygg for den bølgen av arrestasjoner som sveipet gjennom Den røde armé i 1937 etterhvert som Stalins utrenskninger økte i omfang. Han ble offisielt listet som en av dommerne i rettssaken mot Tukhatsjevskij i juni 1937. Men på slutten av 1937 ble han degradert til kommandør i det Transkaukasiske militærdistrikt, og han ble arrestert i februar 1938 og hans militære skrifter forbudt. Jegorov døde i fengsel og dødsdatoen ble senere offisielt oppgitt som februar 1939. Enkelte sovjetiske kilder oppga dog hans dødstidspunkt til så sent som 1941. Han ble rehabilitert av Nikita Khrusjtsjov, etter Stalins død.