佔领荆州，挥军入蜀，麋芳升任为南郡太守驻守江陵，与关羽共事，不过二人私交不佳。糜芳曾因南郡郡治失火，兵器被焚烧，受到关羽责备，麋芳与公安太守士仁常认为关羽轻视他们二人，孙权得知后私下勾结麋芳，麋芳暗中和孙吴来往。219年，关羽北伐（樊城之战），麋芳、士仁因为未能供给足够军需，关羽扬言回师后将二人治罪，二人心感畏惧。当时关羽正于樊城围攻曹将曹仁，孙权乘机派大将吕蒙攻打荆州，吕蒙让虞翻成功劝降士仁，拿下公安，带领士仁进攻南郡郡治，并在麋芳面前出示公安守将士仁，于是麋芳开城投降。麋芳后来成为孙权的部将。麋