вы, как большинство женщин, зачем-то вкладываете в слова мужчины свой смысл.  Ваш супруг спросил ровно то, что спросил. Он не сказал, что вы должны и морально обязаны. Он просто хочет знать, вам не хочется ДР с семьей отметить? Не хочется, так и скажите прямо.