Năm Vĩnh Huy thứ 6 (655), mùa hạ, tháng 6, Võ Chiêu nghi tố cáo mẫu thân của Vương Hoàng hậu là Ngụy Quốc phu nhân Liễu thị đã cùng Hoàng hậu dùng bùa phép hãm hại mình, từ đó Liễu thị không được vào cung nữa. Cậu của hoàng hậu là Trung thư lệnh Liễu Thích (柳奭) bị giáng chức. Trong lúc đó, Trung thư Xá nhân Lý Nghĩa Phủ vốn bị Trưởng Tôn Vô Kỵ ghét, vốn bị Vô Kỵ biếm chức, nhân đó dâng sớ xin phế Hậu lên Cao Tông. Cao Tông vui mừng, bèn cho triệu Lý Nghĩa Phủ vào cung, cho phục chức. Phe cánh của Võ Chiêu nghi ngày càng lớn mạnh. Mùa thu năm ấy, Cao Tông triệu Trưởng Tôn Vô Kỵ, Chử Toại Lương và Lý Thế Tích vào hỏi ý kiến việc phế hậu, Lý Thế Tích cáo ốm không tới. Trong buổi nghị sự, Chử Toại Lương đều lên tiếng can ngăn Cao Tông, còn Trưởng Tôn Vô Kỵ im lặng để tỏ ra không hài lòng. Khi Lý Thế Tích nhập triều, Cao Tông đến hỏi Lý Thế Tích, Tích nói: "Đó là gia sự của bệ hạ, không cần hỏi đến ngoại thần". Vấn đề "Phế Vương lập Võ" càng lúc càng có lợi cho Võ Chiêu nghi.