Муж четко обозначил-  есть он, он и вы, вы и ваш сын.Вы не целостная семья для него. В открытую может и не говорит, что чужой ребенок не по душе, но таким скрытым образом показывает разделение. Ну и плюс  живеет с человеком скуповатым. Итог вы имеете.Знаем- плавали(((Тоже долго копалась в похожей ситуации, сопоставляла какие то брошенные фразы и поступки, примеряла себя на его место...Пристыживание не срабатывает, ищите другие подходы без наездов и истерик. Можете прямо задать ему такой вопрос. А вдруг подтекст именно таков. Удачи.