Такого кадра отшивать и отваживать от дома однозначно. Вы что? Зачем бездетному мужику с собой торт? У вас двое детей! И не надо чувствовать неловкости. Человек вас не уважает, одного этого достаточно, чтобы свести отношения на нет. Если мужу так хочется с ним общаться - пожалуйста, вне дома и без вашего участия.