于禁讨昌豨（206年），与夏侯渊讨黄巾军残余部队徐和等，皆有功劳，迁为徐州刺史。沛国人武周时为下邳令，臧霸尊敬武周，常到其舍作客。后来武周部从事总詷不法，武周得其罪，被收监查究，但臧霸却不嫌弃武周，反而更加亲善。建安十四年（209年），臧霸随曹操征讨孙权，先登入阵，再入巢湖，攻破居巢。张辽讨陈兰时，臧霸被调到皖，讨伐吴将韩当，使孙权不得前救陈兰。韩当遣兵以迎臧霸，臧霸与吴军战于逢龙，韩当又遣兵阻臧霸于夹石，均被臧霸击破之，后还屯舒城。孙权遣数万人乘船屯于舒口，分兵往救陈兰，但闻知霸军在舒城时，立即撤军。