麋芳本为徐州的彭城相，其兄麋竺帮助刘备，麋芳亦辞官跟随刘备四处周旋。208年，刘备佔领荆州，挥军入蜀，麋芳升任为南郡太守驻守江陵，与关羽共事，不过二人私交不佳。糜芳曾因南郡郡治失火，兵器被焚烧，受到关羽责备，麋芳与公安太守士仁常认为关羽轻视他们二人，孙权得知后私下勾结麋芳，麋芳暗中和孙吴来往。219年，关羽北伐（樊城之战），麋芳、士仁因为未能供给足够军需，关羽扬言回师后将二人治罪，二人心感畏惧。当时关羽正于樊城围攻曹将曹仁，孙权乘机派大将吕蒙攻打荆州，吕蒙让虞翻成功劝降士仁，拿下公安，带领士仁进攻南