哥哥元则阻止了他，元孝矩才作罢。后来宇文泰为哥哥的儿子晋公宇文护娶了元孝矩的妹妹为妻子，双方的感情非常亲密。周孝闵帝宇文觉接受禅让后，宇文护总领百官，元孝矩受到宠信日益隆重。等到宇文护被诛杀，元孝矩连带受罚被流放到川蜀。几年后，元孝矩被征召返回京城，担任益州总管司马，转任司宪大夫。杨坚看重元孝矩的的门第，为儿子杨勇娶了元孝矩的女儿。杨坚出任丞相时，于大象二年十二月壬申（581年1月11日）任命小冢宰元孝矩为大司寇、柱国，赐爵洵阳郡公。当时杨勇镇守洛阳，等到杨坚接受禅让，杨勇被册立为皇太子，命令元孝矩代替