若鞮单于遣无楼且渠王与割据并州的李兴、闵堪和亲结盟，汉皇帝卢芳返还内地。建武五年（29年），卢芳被李兴、闵堪迎入五原郡九原县为都，割据北方边境五原、朔方、云中、定襄、雁门五郡。建武六年（30年），卢芳诛杀心腹五原郡太守李兴兄弟，朔方郡太守田飒、云中郡太守桥扈恐惧，反卢芳投降光武帝刘秀。东汉大司马吴汉、骠骑大将军杜茂数次讨伐卢芳，没有成功。建武十二年（36年），卢芳进攻云中郡，留守九原的部将随育胁迫卢芳降伏光武帝，卢芳放弃军队，逃往匈奴。建武十六年（40年），卢芳入居代郡高柳县，以闵堪之兄闵林为使者，