Если вы воспринимаете предложени "давайте сходим в такое-то кафе" как ультиматум, то проблемы у вас, а не у того, кто предложил. Если кафе поганое, совершенно нормально сказать "не надо, там плохо кормят" и предложить свой вариант. Предварительно проверив, что в меню есть вегетарианские блюда. И все.