Po drugiej wojnie światowej stał się bliskim współpracownikiem Mátyása Rákosiego, który stał się pierwszym sekretarzem partii. Gerő w latach 1948–1956 stał na czele ÁVH, tajnej policji komunistycznej. Po ustąpieniu Rakosiego 18 lipca 1956, Gerő został jego następcą i rządził równie brutalnie jak on. Po wybuchu rewolucji w 1956, 23 października 1956 wygłosił przez radio przemówienie, w którym zapowiedział represje wobec powstańców, jednak 25 października zrezygnował ze stanowiska i wyjechał do ZSRR.