しかし同年9月に、平時忠らが憲仁親王(のちの高倉天皇)を皇太子に立てようとする陰謀が発覚すると、二条はただちに後白河院の近臣を解官した。