580年，杨坚为北周丞相，尉迟迥与司马消难计划叛乱有使者往来，赵芬察知，报告杨坚。杨坚亲任赵芬为上开府，进爵位为淮安县公。581年，隋朝建国，任东京（洛阳）尚书左仆射，封淮安郡开国公。同年东京罢，授京省尚书右仆射。与郢国公王谊改正律令，583年兼内史令。开皇五年（585年）出任蒲州刺史，加金紫光禄大夫之位，监督关东运河交通。数年后，上表请求退休，被召还长安，以大将军、淮安公归第，开皇十四年（594年）二月十二日在京师长安太平里府第去世，年七十四，谥号曰定。