中平元年（184年），与关羽在涿郡跟随刘备起兵，随从周旋，不避艰险。关羽年长张飞数岁，张飞事之如兄。刘备领平原相，关羽、张飞皆为别部司马，分统部曲。三人寝则同床，恩若兄弟。汉献帝兴平元（194）年，刘备领徐州牧，以张飞为司马。建安元年（196年），左将军袁术不忿刘备据有徐州，自淮南来攻，两军在盱眙、淮阴相持，张飞留守下邳。下邳相曹豹与张飞不和，勾结当时正寄寓在徐州的奋武将军吕布袭取下邳。张飞杀曹豹，引起丹杨兵叛变，中郎将许耽开门引吕布入城。刘备将士在前方听说家属被俘，军无战心，不得已而投降吕布。吕布将刘备安