På grunn av sine protester mot regjeringen ble Giménez stemplet som kommunist og arrestert i 1953. Han satt fengslet i flere måneder. Da han ble løslatt, undertegnet han en kontrakt om å spille med sitt orkesteret i mer enn 80 brasilianske byer, men regjeringen nektet å la ham forlate landet. I 1956 forlot Giménez Paraguay.