К другу претензий никаких быть не может - он Вам вообще никто. А вот с мужем своим надо разобраться. Можно попробовать ограничить их общение в вечерние часы. Или перенести общение к Вам домой. Или самой вместе с мужем начать общаться с другом. Я так понимаю, что такие загулы они устраивают не каждый день, так что для спасения своего благополучия в браке можно и нужно эту ситуацию держать под контролем. Тем более отказать Вам никто в таком участии в жизни любимого супруга не сможет.