Автор, не знаю, что здесь вообще можно посоветовать. Попробуйте поговорить с мужем: взрослые люди, можно договориться. Пока ребенок еще маленький, может, у него  хватит сил не гнать Вас с ним в неизвестность. А Вы сами, что думаете? Вы же мужа лучше нас знаете...  А родители у Вас есть, кто-нибудь, к кому, в случае крайнего обострения ситуации можно уйти?