到宇文泰专权，将要危及元氏政权，常常有慷慨振兴社稷的志向，他暗中对兄弟们说：“昔日西汉有诸吕发动的变乱，朱虚侯刘章和东牟侯刘兴居最终安定了刘氏的天下。如今宇文氏之心路人皆知，国家将要覆灭而不去扶助，要我们这些宗室子孙做什么？何不图谋除掉他。”元孝矩的哥哥元则阻止了他，元孝矩才作罢。后来宇文泰为哥哥的儿子晋公宇文护娶了元孝矩的妹妹为妻子，双方的感情非常亲密。周孝闵帝宇文觉接受禅让后，宇文护总领百官，元孝矩受到宠信日益隆重。等到宇文护被诛杀，元孝矩连带受罚被流放到川蜀。几年后，元孝矩被征召返回京城，担任益州总管