Выпить кофе и поболтать с мужчиной - это не измена и явно не стоит таких душевных терзаний. А "смущает" Вас это все, потому что Вы прекрасно  понимаете, что от этого мужчины Вы ждете не только совместного кофепития, но намного большего, хотя в этом не хотите признаться.