Они есть. Точно есть в Пушкинском,  в Эрмитаже, в Орсэ. В Орсэ вообще большое кафе (или ресторан уже?), есть вино, насчет более крепких напитков не знаю. В Третьяковке не помню, в более мелких музеях Москвы не интересовалась. В Петербурге много где есть буфеты в музеях.