Tuy nhiên sau đó Võ hậu lạnh nhạt với Hoài Nghĩa vì có quan ngự y trong Ngự y viện là Thẩm Nam Cầu (沈南璆) được Võ hậu để mắt, sự sủng ái của Nam Cầu khiến Hoài Nghĩa tức giận nổi lửa đốt cháy toàn bộ tượng, Minh đường lẫn Thiên đường. Cảm thấy Hoài Nghĩa có hành vi ngông cuồng không thích hợp, Thái Bình Công chúa chủ trương đem Hoài Nghĩ giết chết. Sau đó không lâu Nam Cầu cũng không còn, Thái Bình Công chúa liền tiến cử Trương Xương Tông có tài thổi sáo, rất đẹp trai lại có tài trong phòng the khiến Võ hậu rất vui. Được nữ hoàng đế sủng ái, Trương Xương Tông lại tiến cử anh mình là Trương Dịch Chi vào hầu hạ, cả hai anh em vì thỏa mãn được Võ hậu nên được phong chức tước và bổng lộc cực hậu hĩnh, anh em họ Trương do đó cũng từng bước tác động đến chính trị và có sự ảnh hưởng lớn trong thời kì cuối mà Võ hậu cầm quyền. Các quan thấy Võ hậu đa dâm lụy tình cũng tiến cử con em, thậm chí chính mình vào để hầu Võ hậu hòng kiếm lợi lộc.