Муж нервничает. У мужа, скорей всего, у самого были проблемы с сепарацией от матери и других  значимых  женщин. Это чинится.У вас есть право выбирать нужный вам стиль  общения с ребенком, потому что вы  и только вы его 9 месяцев выращиваете в животе. И ваш муж - большой мальчик, он переживет и ваше отдаление от него и проблемы с другими  взрослыми родственницами. А вот за младенца отвечаете вы в первую очередь.  Делайте так, как считаете интуитивно  правильным. Ребенку нужен безопасный кокон в виде устойчивой семьи и рук спокойной и любящей матери.