А вы почему не уверены в своей правоте? Пусть ваш муж хоть 100 раз уверен, делайте то, считаете нужным, вы личность или только приложение к мужу? Я бы своего и не возвращала, пусть тусует где хочет,  если бы ко мне ввалились, сообщила бы гостям, что их будет развлекать муж, по причине моей усталости и спокойно пошла бы спать.