Det sies at forholdet mellom ham og sønnen Fidel var svært anstrengt, og familieeiendommen var blant de første som ble nasjonalisert da Fidel kom til makten.