有一天杨坚在宫中,偶遇尉迟迥充入宫廷的孙女尉迟氏,杨坚便宠幸了尉迟氏。独孤皇后听到这个消息,气愤之下直接下令杀 死了尉迟氏。杨坚认为自己帝王威信受到质疑,因此一气之下“单骑从苑中出,不由径路,入山谷间二十馀里。”
虽然后来杨坚亲自道歉,夫妻两人和好,也不能抹去杨坚出 轨的事实。不止生前,独孤皇后去世之后,杨坚还有宣华夫人陈氏、容华夫人蔡氏等宠妃。所以后世说,独孤皇后与杨坚是一夫一妻制帝后并不正确。