飞皆为别部司马，分统部曲。三人寝则同床，恩若兄弟。汉献帝兴平元（194）年，刘备领徐州牧，以张飞为司马。建安元年（196年），左将军袁术不忿刘备据有徐州，自淮南来攻，两军在盱眙、淮阴相持，张飞留守下邳。下邳相曹豹与张飞不和，勾结当时正寄寓在徐州的奋武将军吕布袭取下邳。张飞杀曹豹，引起丹杨兵叛变，中郎将许耽开门引吕布入城。刘备将士在前方听说家属被俘，军无战心，不得已而投降吕布。吕布将刘备安置在小沛，而刘备兵力逐渐恢复到万余人，引起吕布警觉，于是再次进攻刘备，刘备西奔司空曹操。曹操表荐刘备为豫州牧，让他继续在小