Năm 1953, ông trở thành Thủ tướng của Cộng hoà Nhân dân Hungary. Tuy nhiên, ít lâu sau, năm 1953 nhà cải cách Nagy Imre thay thế Rákosi Mátyás, "Học trò ưu tú nhất người Hungary của Stalin", làm Thủ tướng. Vì là một lãnh tụ rất có tính nguyên tắc nên ông bất hòa với Imre - vị Thủ tướng theo đường lối cải tổ. Năm 1956, Mátyás sang cư ngụ tại thành phố Gorky (tức Nhizhnhi Novgorod ngày nay) thuộc Liên bang Xô viết. Mãi đến năm 1970, theo yêu cầu của Chính phủ Hungary đương thời, ông có thể về nước nhưng không được can dự vào nền chính trị. Tuy nhiên, Mátyás đã không chấp thuận yêu cầu này. Năm sau (1971), ông qua đời sau nhiều năm sống tại nước ngoài.