不和，勾结当时正寄寓在徐州的奋武将军吕布袭取下邳。张飞杀曹豹，引起丹杨兵叛变，中郎将许耽开门引吕布入城。刘备将士在前方听说家属被俘，军无战心，不得已而投降吕布。吕布将刘备安置在小沛，而刘备兵力逐渐恢复到万余人，引起吕布警觉，于是再次进攻刘备，刘备西奔司空曹操。曹操表荐刘备为豫州牧，让他继续在小沛牵制吕布。建安三年（198年），曹操东征，消灭吕布，表荐刘备为左将军，关羽、张飞为中郎将。刘备与车骑将军董承等受汉献帝衣带诏，密谋诛杀曹操。建安四年（199年），僭号称帝的袁术因为势力衰弱，打算北投堂兄大将军袁绍，刘