Begin 2005 kwam er kritiek op Remkes toen hij tijdens zijn vakantie op het eiland Ko Samui niet een bezoek wilde brengen aan de slachtoffers van de aardbeving in de Indische Oceaan in het overspoelde toeristenoord Phuket. Hij gaf te kennen dat hij de reddingswerkers niet voor de voeten had willen lopen. Na kritiek uit de Tweede Kamer ging hij alsnog op bezoek bij het Rampen Identificatie Team.