郯城东以防曹操。兴平元年（194年），曹操再次攻打陶谦，攻陷瑯琊、东海诸县。陶谦欲退回老家丹阳。曹操因张邈叛迎吕布而被迫回击。陶谦于同年病死。临终前嘱託别驾麋竺让帮忙协防的刘备主事徐州牧。建安元年（196年），袁术来攻刘备，战于盱眙、淮阴数月，留张飞防守下邳城。下邳相曹豹为陶谦故将与张飞内斗，曹豹兵众坚营自守，使人招吕布袭下邳，曹豹被张飞所斩杀，城中大乱。吕布乘虚袭下邳，吕布的内应许耽为刘备麾下担任中郎将负责守卫下邳城西门，许耽暗遣司马章诳地(惊慌仓猝)联系吕布，吕布军至下邳城外，许耽打开西门接应吕