Не торопитесь. Может быть, ему вполне хватило этой кафешки(чтобы "отчитаться" другу, ну, может и приврать малость при этом. Если муж Ваш  порядочный человек, ему достаточно уже ваших выяснений, чтобы прекратить на корню подобные действия. А в противном случае ему все эти разговоры побоку, будет продолжать общение по сценарию. Вы пока не трогайте его, как будто ничего и не было. Но где-то там в глубине души поставьте "камеру наблюдения", будьте чуть больше внимательны к его действиям. Если что-то не то, Вы почувствуете.  Вам надо успокоиться, не накручивать лишнего на пустом месте и внести определённость в эту ситуацию. Неприятно, конечно, и куча ненужного страха, наверное, в душе. Не давайте ему разрастись!  И мужа не обижайте подозрениями.