Мое мнение: Вы себя накрутили на ровном месте. Ничего страшного Ваш муж не сказал. Даже если бы он вообще совершенно постороннему такое болтанул. Взрослые люди очень часто не со зла могут ляпнуть лишнего, или поступить некорректно. Бывает. А после ДР, "подшофе"- ну не подумал.