Тоже так считаю, это кафе не рассчитано на то, чтобы сидеть и общаться с удовольствием, скорее предполагает быстрый перекус. Если в кафе были еще свободные места, помимо вашего столика, то наверно, ничего страшного, что вы отказали, в противном случае люди бы даже спрашивать не стали, имели полное право к вам подсесть.