Я тоже не буду спорить ибо не знаю Вашу ситуацию.Но то , что муж не считается с Вашими чувствами и подозрениями,  пусть даже, как он говорит,необоснованными, пустыми_-грустно, но факт.Иначе бы он все прекратил или, по крайней мере, дал бы Вам ясно понять свое отношение к действиям дамы!