しかし、1996年ロシア大統領選挙に関して、選挙の延期を主張したため、これに反対したエリツィンの次女で大統領補佐官のタチアナ・ディアチェンコや選挙対策本部長のアナトリー・チュバイスと対立し、第1回投票直後の6月20日に選挙延期を主唱したコルジャコフやミハイル・バルスコフ連邦保安庁（FSB）長官らとともに突然解任され失脚した。