1946年、ソ連最高会議代議員に選出。1946年4月、A.シャフリン、アレクサンドル・ノヴィコフ等、航空産業指導者が逮捕される原因となる資料を作成。1946年5月4日、フセヴォロド・メルクーロフに代わり、ソ連国家保安相に任命され、スメルシも国家保安省に編入された。1946年～1951年、全連邦共産党政治局司法問題委員会委員を兼任。1948年、スターリンの指示により、ソロモン・ミホエルスの暗殺を組織。1950年～1951年、レニングラード出身の党員が逮捕・粛清されたいわゆるレニングラード事件をでっち上げる。アバクーモフの権勢は絶大なものとなり、ラヴレンチー・ベリヤのライバルの1人とも目されるようになった。民警、刑事捜索部、武装警備のような重要部門が、徐々に内務省から国家保安省に移管された。
1941年2月からソ連副内務人民委員、1941年7月、特別課局長を兼任。特別課局は、全武装組織（赤軍、海軍、民警、国内軍、国境軍）内の国家保安機関の活動を指導していた。1943年4月19日、特別課はNKVDから分離され、国防人民委員部防諜総局（スメルシ）が創設され、アバクーモフはヨシフ・スターリン直属の副国防人民委員となった。スメルシは、軍内の防諜に従事した外、ソ連の占領地における不穏分子の摘発にも従事した。特にアバクーモフの命令により、ブダペストにおいてスウェーデンの外交官、ラウル・ワレンバーグが逮捕された。1944年、北カフカース諸民族の追放の組織に参加し、クトゥーゾフ勲章と赤旗勲章を授与された。1945年1月～7月、第3白ロシア戦線NKVD全権代表を兼任。
1932年、統合国家政治局（OGPU）に異動。1932年～1933年、OGPUモスクワ州全権代表経済課研修員、1933年～1934年、OGPU経済局第3課作戦係。1934年、女性と会うために秘密のアパートを利用していたことが発覚し、矯正労働収容所・労働村総局に左遷、作戦課第3班作戦係。1937年～1938年、ソ連内務人民委員部（NKVD）国家保安総局第4課（秘密政治）作戦係。1938年からNKVD第1局第4課、国家保安総局第2課第2班長。1938年12月、NKVDロストフ州局長代行、1939年4月、局長として承認。ロストフ・ナ・ドヌにおいて、大粛清の組織を指導したが、その弾圧手法は苛烈さを極めた。後に副人民委員、国家保安相にまで出世しても、身体能力に優れたアバクーモフは自ら尋問（拷問）することを好んだ。
牙行（がこう）とは、近代以前の中国における仲買業者のこと。古代中国では牙儈（がかい）・駔儈（そうかい）、唐宋では牙人（がじん）・牙郎（がろう）と呼ばれていた。「牙行」の名称は五代に成立した牙人のギルド（行）に由来し、元明に入り、牙行をの構成員である個々の業者の一般名となった。近代以前の中国の商人には大きく分けて、商品を生産地から消費地に運ぶなどの地域間交易（貿易を含む）に従事する客商（きゃくしょう）、消費地などに店舗を構えて卸売業や小売業に従事する坐賈（ざこ）、そして客商と坐賈の周旋・仲介を行う牙行の3種類がいた。中国では地域間によって商品価格は勿論のこと、商慣習や話し言葉すら異なる場合があり、客商と坐賈の取引には牙行の周旋・仲介が不可欠であった。彼らは客商には坐賈からの代金支払の保証を、坐賈には客商からの商品品質の保証を行うとともに、それぞれから手数料を徴収していた。明清時代にはこうした手数料を牙銭・佣銭と称され、取引額の2-3％を双方から徴収していた。牙儈の存在は先秦時代から知られ、『史記』・『漢書』の貨殖列伝の注には「二家の交易をまとめることを儈といい、率先して行うことを駔という」と記されており、売り手と買い手の話し合いを強引にまとめようとする初期の牙儈の姿がうかがえる。『資治通鑑』には唐代に入ると、牙郎・牙人が市場の世話をしていたと記しており、また官庁の物資調達の末端を担った官牙と呼ばれる人々も存在していたことが知られている。前述のように、五代に入ると牙人が集まって牙行を結成して組織化が進むとともに、その業務も拡大していき、塩・茶・米・絹といった生活に欠かせない重要商品の他に、土地取引を行う荘宅牙人や人身売買を行う女牙人まで登場するようになった。明の頃には牙行と呼ばれるようになった仲買業者は大規模な施設を構え、倉庫業務・宿泊業務・輸送業務・銀行業務なども手がけるようになる。こうした業務拡大は牙行本来の仲買業務と深く密接していた。客商や坐賈は牙行に商談の世話をして貰うだけでなく、必要があれば実費で長期間宿泊・滞在することが出来、商品を保管して貰うことも出来た。また、牙行も有利と見れば自らが商品を買い付けて卸売としての役目を果たすこともあった。決済は牙行が出す手形で行われ、送金も為替で処理されるのが普通であった。牙行を開くには政府が出した牙帖と呼ばれる営業許可証を必要としていたが、実際には無許可の私牙行も少なくはなかった。時代が下るにつれて穀物、茶、絹、木材、家畜などの商品によって専業化していき、社会的分業をとげていった。牙行でもっとも有力な存在であったのは、農村から穀物を買い上げるとともに農村で必要とされる都市の手工業製品を販売する「糧貨店」であったが、これも後には糧店と貨店に分化されるようになる。清末の咸豊年間以降には近代的な銀行制度の成立や交通網の変遷によって、次第に牙行の役割は低下していくことになった。