Statsministern har sett sig nödsakad afstå från den tilltänkta resan till Norrland.