淅州刺史，东夏平，授相州天官府司会，进爵为侯。大象元年（579年），置六府于洛阳，除东京少宗伯，驻屯洛阳，摄夏官府事。580年，杨坚为北周丞相，尉迟迥与司马消难计划叛乱有使者往来，赵芬察知，报告杨坚。杨坚亲任赵芬为上开府，进爵位为淮安县公。581年，隋朝建国，任东京（洛阳）尚书左仆射，封淮安郡开国公。同年东京罢，授京省尚书右仆射。与郢国公王谊改正律令，583年兼内史令。开皇五年（585年）出任蒲州刺史，加金紫光禄大夫之位，监督关东运河交通。数年后，上表请求退休，被召还长安，以大将军、淮安公归第，开皇十四