征入朝，历御伯纳言。得降附2000户归顺，加开府仪同三司之位。大冢宰宇文护召为中外府掾，转任吏部下大夫。北周武帝开始亲政，受内史下大夫之位，转任少御正，后为天官府司会，春官府司宗，治夏官府司马。申国公李穆讨北齐，召为行军长史、封淮安县开国子。先后出任熊州、淅州刺史，东夏平，授相州天官府司会，进爵为侯。大象元年（579年），置六府于洛阳，除东京少宗伯，驻屯洛阳，摄夏官府事。580年，杨坚为北周丞相，尉迟迥与司马消难计划叛乱有使者往来，赵芬察知，报告杨坚。杨坚亲任赵芬为上开府，进爵位为淮安县公。581年