。魏秦州刺史赵演之子。赵芬少有辩智，涉猎经史。宇文泰召为相府铠曹参军、记室，转外兵，迁内书舍人、尚书兵部郎。北周受禅，除冬官府司邑大夫，又为陕州总管府长史。加仪同三司，仍长史。征入朝，历御伯纳言。得降附2000户归顺，加开府仪同三司之位。大冢宰宇文护召为中外府掾，转任吏部下大夫。北周武帝开始亲政，受内史下大夫之位，转任少御正，后为天官府司会，春官府司宗，治夏官府司马。申国公李穆讨北齐，召为行军长史、封淮安县开国子。先后出任熊州、淅州刺史，东夏平，授相州天官府司会，进爵为侯。大象元年（579年），置六