ağanüstü organizasyon yeteneğiydi. Kádár başlangıçta Parti genel merkezinde çalışıyordu. Parti üyelik kartlarını da o tasarlamıştı. Macaristan'da konuşlu Sovyet askerleri toplu tecavüz ve yağma olaylarına karışıyorlardı. Böyle bir karmaşanın hüküm sürdüğü ortamda, Kádár, Emniyet Müdür Yardımcısı olarak atandı. Parti hiyerarşisi içinde hızla yükselmekle birlikte, Rákosi'nin partideki yardımcısı Ernő Gerő gibi önde gelen kişilerden olan bir grup da, onun bu hızlı yükselişine son vermek istiyorlardı. Rákosi'nin dönüşüyle, Kádár'ın üstündeki kara bulutlar da dağıldı. Macaristan Komünist Partisi Politbürosu'na seçidi. Şubat 1945'te de Macaristan Komünist Partisi Genel Sekreterliği görevine seçildi.

Rákosi'nin hükumetinde, Savunma Bakanı olarak Mihály Farkas da bulunmaktaydı. Kádár ve Béla Kovács, eski komünistlerin deneyiminden istifade etme konusunda yönetimin isteksiz olmasını şaşkınlıkla izliyorlardı. Yönetimdeki çekirdek kadroda yer aldığı için, üye kaydı Kádár'ın kontrolündeydi. Elinde bulundurduğu bu pozisyon onun pek çok kişiyle ilişki kurmasını sağladı. Bu ilişkiler daha sonra çok işine yarayacaktı. 1945 seçimlerinde parlamentoda çoğunluğu sağlayamayan komünistler böl ve yönet taktiğine başvurdu. 1945'ten 1947'deki seçimlere kadar geçen sürede, Kádár, partide öne çıkan figürlerden biri oldu. 1946'da Komünist Parti'nin, işçi bölgelerinde ve fabrikalardaki propaganda çalışmalarını yönetti. İşçilerin desteği için komünistler, rakipleri sosyal demokratlarla ağır bir rekabet içindeydiler. Komünistler, seçimlerin, komünistlerin daha yoğun olduğu fabrikalarda yapılması için sosyal demokratları ikna ettiler. Bu seçimlerde komünistler çoğunluğu sağlayınca, diğer fabrikalardaki seçimler, sosoyal demokratlar tarafından ertelendi. Macaristan Komünist Partisi 3. Kongresinde, Kádár, Rákosi'nin iki yardımcısından biri olarak seçildi. Bu göreve seçilmesinde onun geçmişi ve etnik kimliği önemli rol oynadı. Lider kadrosunun büyük kısmı Yahudi kökenli entelektüellerden oluşuyordu. Biraz da bunu dengelemek için işçilikten gelme Macar kökenli birini yönetime getirmişlerdi. Göreve atandıktan sonra, Rusça öğrenmeye başladı ve kendini geliştirmek amacıyla yoğun biçimde kitap okumaya başladı.

Tarihçi Robert Gough, Kádár'ın 1946 yılında, partinin kampanya çalışmalarını son derece büyük bir başarıyla yürüttüğünü söylüyordu. Komünist Parti 1947 seçimlerinde parlammentoda çoğunluğu elde etti. Seçimlerin kazanılmasında Soğuk Savaş'ın hızlanmasının etkisi büyüktü. Sovyet yönetimi, tek parti rejimi kurulması talimatı verdi. Kádár, Sosyal Demokrat Parti ile Komünist Parti'nin birleşmesinden oluşan, Macaristan İşçi Partisi'nin kurulmasında aktif rol oynadı. 1948 Mayıs ayında SSCB'ye yaptığı ziyarette Joseph Stalin'le tanıştı. Bu ziyaret esnasında kardeşi Jenő yaşamını yitirmişti.

5 Ağustos 1948 tarihinde, László Rajk Dışişleri Bakanı olarak atanınca, ondan boşalan koltuğa, İçişleri Bakanı olarak atandı. Bakan olmasına rağmen, gerçekte çok fazla politik gücü yoktu. Zira önemli tüm kuruluşlar Rákosi'ye ve ona yakın kişilerce idare edilmekteydi. 1949'da annesini kaybeden Kádár, aynı yıl Mária Tamáska ile evlendi.

Stalin, kendisinden önceki parti yöneticilerine karşı tasfiye hareketine başlayınca, Rákosi de benzer bir temizliğe başladı. Tasfiye hareketi, II. Dünya Savaşı sırasında ve öncesinde, Sovyetler Birliği'nde değil, Macaristan'da parti faaliyetlerine katılanlara karşıydı. Olayların gelişimine bakıldığında, Kádár'ın İçişleri Bakanı olarak atanmasının, onu Laszlo Rajk'ın göstermelik yargılanmasına dahil etmek amacıyla önceden tasarlanmış bir planın parçası olduğu anlaşılıyordu. Soruşturma Devlet Güvenlik Ajansı ve Sovyet Gizli Polis Teşkilatının ortak çalışmasıyla yapılmıştı. Rákosi daha sonra, biraz da övünerek, Rajk ve onun "çetesinin" liderliğindeki "parti karşıtı yapılanmayı" çözmek için günlerce uykusuz kaldığından bahsedecekti. Duruşmalar esnasında, Rákosi bizzat yargıçları arayıp talimatlar yağdırmıştı. Ancak daha sonraları Rákosi, Rajk'ın ölümü ile ilgili Kádár'ı suçlayacaktı. Rákosi daha sonra olanları anlatırken, Rajk'ın ölüme giderken "Çok yaşa Stalin! Çok yaşa Rákosi!" diye bağırdığını, Tibor Szönyi'nin tek bir kelime etmediğini, András Szalai'nin ise ağladığını anlatacaktı. Farkas ve Gábor Péter da infaz edilenleerin provakatör olduklarına inanmışlardı. Ancak Kádár, çalışma arkadaşlarına karşı yapılan bu suçlamalara şüpheyle yaklaşmıştı.

1950 Ağustos ayının sonlarında Rákosi, Macaristan Sosyal Demokrat Partisi eski lideri Árpád Szakasits'in "kapitalist ülkeler adına casusluk yaptığını" kendisine itiraf ettiğini Kádár'a aktardı. Szakasits'nin hapsedilmesi; sosyal demokratlara, işçi sendikası yetkililerine, üst düzey Komünist Parti üyelerine karşı başlatılacak, uzun tasfiye döneminin başlangıcıydı ve bu dönem 1953 yılına kadar devam edecekti. Tasfiye o kadar büyük boyuta ulaştı ki, Macar gizli polisi ÁVH'nin takip ettiği dosya sayısı bir milyon civarındaydı ki, bu o dönem Macaristan nüfusunun yaklaşık onda birine tekabül ediyordu. Tasfiyeler esnasında Rákosi ve arkadaşları, hızlı bir sanayileşme ve kolektivizasyon hareketine girişmişlerdi. Ernő Gerő'nun Macaristan'ı bir demir-çelik ülkesi yapma konusundaki hırsı, toplumun yaşam standardını aşağı çekiyordu. Kádár'a güvenemeyen Rákosi, onu İçişleri Bakanlığı görevinden istifaya zorladı. Gerekçe olarak da sağlık problemleri gösterildi. Kádár ikbal merdivenlerinden aşağı inmenin, tasfiye edilmekten evla olduğuna inanıyordu. Ancak bu düşüncesinde yanılıyordu. Halefi Sándor Zöld ile birlikte, sosyalizm karşıtı hareketlerin önünü alamamakla suçlanıyorlardı. Kádár, daha sonrasında, Rákosi yönetimi tarafından aleyhine yapılan iddiaları çürütmekle birlikte, çürüttüğü her suçlama ve eleştirinin ardından, yeni bir suçlama ve eleştiriye maruz kalıyordu. İddiaların arkası kesilmiyordu. Sonunda suçlamalara yanıt vermekten vazgeçti. En nihayetinde bir mektubunda, "savaş öncesi dönemde Macaristan Komünist Partisi'ne liderlik ettiği dönemde, hala politik gelişiminin tekamül etmediğini, ideolojik olarak yetersiz kaldığını, kapitalistler tarafından kandırıldığını, bu yüzden de istifasını sunarak, aktif politikayı bıraktığını" itiraf ediyordu. Merkez Komite ve Politbüro'daki görevlerinden istifa etmiş olmasına rağmen, parti kongresinde bu görevleri devam ettirmesine karar verildi. Görevlerinin iadesi üzerine, Rákosi'nin ona bir şans daha tanıdığını, konunun kapandığını zannetti. Bu konuda yanıldığı, 1951 Mart ayında anlaşıldı. Rákosi Sovyetler Birliği'ne, Kádár'ın, Zöld ve Gyula Kállai ile hapsedileceği bilgisini veriyordu.

Partiden ihraç edilerek, tasfiye edileceğini ve rejimin gadrine uğrayacağını anlayan Zöld, 18 Nisan 1951 tarihinde, Zöld bütün ailesini katlederek intihar etti. Kádár, o sırada olan bitenden habersiz, evde, hastaneden yeni çıkmış olan eşiyle ilgilenmekteydi. Yetkililer Kádár'ı parti merkezine, toplantıya çağırdılar. Evden ayrılırken, başlarındaşefleri Gábor Péter'ın bulunduğu bir grup gizli polis tarafından durduruldu. Bundan bir yıl sonra Kádár kendisini, Miklós Horthy adına casusluk yapmak gibi uyduruk bir suçla yargılanarken buldu. Sorgulamalarında ağır işkencelerle ile suçu itiraf ettirilmeye çalışılıyordu. Bununla birlikte, 1954 yılında bir duruşmada, kendisine yöneltilen ve kötü muameleye maruz kalıp kalmadığı yönündeki bir soruya, herhangi fiziksel kötü muameleye uğramadım diyerek cevap vermiştir. Kendisine bu konuda yöneltilen tüm soruları, ömrünün sonuna kadar aynı şekilde yanıtlamıştır. Kimileri onun işkence iddialarını inkar ederek, yurt içi ve yurt dışındaki imajını korumak amacını taşıdığını iddia etmektedir.

Yargılamalar sonucunda Kádár suçlu bulunarak ömür boyu hapis cezasına çarptırıldı. Hapis cezasının üç yıllık kısmı hücre cezası şeklindeydi. Hapis koşulları, savaş öncesi Horthy rejiminde çektiği hapis cezasından daha kötüydü. Stalin öldükten sonra ve Imre Nagy'nin başbakan olmasından (1953) sonra, Temmuz 1954'te serbest bırakıldı. Hapisten çıktıktan sonra, Budapeşte'nin sanayi bölgesi olan 13. Bölgeye parti sekreteri olarak atandı. Çok daha fazla özgürlük talep eden sendika işçileri arasında kısa sürede büyük bir destekçi kitlesine ulaşarak, işçiler arasında popülerlik sağladı.

Nagy bir koalisyon hükumeti kurdu ve bir liberalizasyon programı başlattı. Basın üstündeki baskıyı azalttı, birçok siyasi mahkumu serbest bıraktı ve Macaristan'ı Varşova Paktı'ndan çekmek istediğini ifade etti. Sovyet liderler, karşılıklı saygı ve eşitlik temelinde Macaristan ile bir ilişki kurmaya çalıştıklarına dair bir bildiri yayınlamasına rağmen, Sovyetler Birliği Komünist Partisi Politbürasu Kasım ayı başında, Macaristan'daki reformları askeri güç kullanarak ezme kararı aldı.

Macaristan İşçi Partisi kendini lağvederek, Macar Sosyalist İşçi Partisi adıyla yeni bir çatıda örgütlenme kararı aldı. 25 Ekim 1956 tarihinde de, Kádár Genel Sekreter olarak seçildi. Aynı zamanda Imre Nagy Hükumetinde Devlet Baknlığı görevi de bulunmaktaydı. 1 Kasım 1956 tarihinde, SSCB'nin Budapeşte Büyükelçisi'nin de girişimleriyle, Ferenc Münnich ile birlikte Moskova'ya uçtu. Burada temas ettiği Sovyet yetkililer onu, Macaristan'da bir karşı devrim faaliyeti yürütülmekte olduğu, bu faaliyetin ne pahasına olursa olsun bastırılması gerektiği konusunda ikna etmeye çalıştı.Macaristan'da konuşlu Sovyet askeri birliklerine, zaten çok önceden müdahale emri verildiğini öğrenince, Kádár da safını değiştirerek, Sovyet tarafına geçti. Saf değiştirdiği takdirde, Rákosi-Gerő yönetiminin tekrar iş başına geçeceği, kendisinin de başbakan yapılacağı söylenmişti. Baskı altında olsa da, gerektiği kadar da direnme göstermemişti. 12 Nisan 1989'da yaptığı bir konuşmada, Imre Nagy'nin infazında payı bulunduğunu kabul ederek bu konudaki pişmanlığını dile getirmişti. Amerikalı gazeteci John Gunther, 1961 yılındaki bir yazısında Kádár'ı "...gölgeler tarafından tarafından takip edilen bir canlı cenaze..." olarak tarif etmekteydi.

4 Kasım 1956 sabahı, Sovyet tankları devrimi bastırmak üzere Budapeşte'ye girdi. Aynı gün Ká