Als die Kommunisten die Macht übernahmen, erklärten sie seine Familie wegen ihres Grafen-Titels zu „Klassenfeinden“, enteigneten und deportierten sie 1951 in ein Arbeitslager und verurteilten sie zur Zwangsarbeit in der nunmehr sozialistischen Landwirtschaft. Bei seinen Versuchen, dennoch in den Westen zu gelangen, ist Antal Festetics als Jugendlicher wegen „versuchter Republikflucht“ drei Mal inhaftiert worden. Beim Ausbruch des Volksaufstandes 1956 schloss er sich den Freiheitskämpfern an und erhielt den Befehl, die ÁVO-Geheimpolizisten festzunehmen, die sich nach Österreich absetzen wollten. Bei einer nächtlichen Aktion lernte er durch Zufall auch den US-Senator Claiborne Pell kennen. Dieser bat Festetics darum, in einem Gespräch mit dem soeben aus dem Gefängnis befreiten József Kardinal Mindszenty als Dolmetscher zu fungieren. Für Festetics eine große Freude, denn der Kardinal hatte ihn 1948 höchstpersönlich gefirmt, bevor er kurz darauf zusammen mit Festetics’ Onkel, Fürst Paul Esterházy, vom kommunistischen Volksgerichtshof in einem Schauprozess zur lebenslangen Haft verurteilt worden war.