后为天官府司会，春官府司宗，治夏官府司马。申国公李穆讨北齐，召为行军长史、封淮安县开国子。先后出任熊州、淅州刺史，东夏平，授相州天官府司会，进爵为侯。大象元年（579年），置六府于洛阳，除东京少宗伯，驻屯洛阳，摄夏官府事。580年，杨坚为北周丞相，尉迟迥与司马消难计划叛乱有使者往来，赵芬察知，报告杨坚。杨坚亲任赵芬为上开府，进爵位为淮安县公。581年，隋朝建国，任东京（洛阳）尚书左仆射，封淮安郡开国公。同年东京罢，授京省尚书右仆射。与郢国公王谊改正律令，583年兼内史令。开皇五年（585年）出任蒲州刺史