拜为扬威将军，假节。曹操无法打败孙权引大军还师，后来孙权请降，便留臧霸与夏侯惇等屯居巢。
曹魏时期.黄初年间。曹丕即王位时，臧霸迁镇东将军，进爵武安乡侯，都督青州诸军事。曹丕称帝后，进封开阳侯，徙封良成侯。后来臧霸与曹休伐吴，破吕范于洞浦。曹丕征臧霸为执金吾，加特进，夺取其兵权，结束了其身为地方豪强事实半独立的状态。每有军事要务，曹丕都常咨访臧霸。明帝曹睿即位后，太和年间增臧霸邑五百户，并前三千五百户。太和四年八月辛巳日（230年8月31日），获得行太尉事以特牛祠中岳的受禅坛。