与父亲逃亡东海郡，经此事迹臧霸的孝烈勇名遍闻乡野。后来成为陶谦麾下的骑都尉，负责募兵镇压黄巾贼。尔后收编徐州兵与孙观、尹礼、吴敦、昌豨等人拥兵驻屯于开阳，自成一股独立势力。于建安二年（197年）领兵击败琅邪国相萧建，佔领莒城。当时正欲与萧建交好的吕布大怒，发兵攻击臧霸，但臧霸登城坚守奋战表现使吕布久攻未克而撤军，尔后两人和解结为同盟关系。建安三年（198年），曹操发兵东征吕布，臧霸率领旗下将兵支援吕布。吕布战败被擒后，臧霸散其兵众逃亡，被曹军捕获，曹操亲见招降臧霸，一见之下大悦，臧霸依命召回旧部