Вы психологически ребенка не подготовили к смене ситуации! Сначала в гости он должен был ходить, потом совместные прогулки, все постепенно. Кстати и ваш муж, так же должен был привыкать постепенно. Мой(он это ваще отдельная песня) два года детей боялся пока мы встречались! Потом  заглядывал в детскую когда они спали-просто посмотреть.....Я даже напрягалась. Но сейчас все отлично, полное взаимопонимание и любовь))))) Прошло ТРИ ГОДА.