杨氏在武家的日子其实不是很如意，武士彟跟相里氏有两个儿子：武元庆和武元爽，这两个儿子在杨氏结婚的时候，年纪已经很大了，他们同自己的亲生母亲感情很深，对于后娘杨氏很不认可，历史记载武元庆和武元爽、以及其族兄弟武惟良、武怀运对杨氏非常不好，甚至对年幼的武则天也经常欺负