Договаривайтесь с мужем не "в общем", а конкретно - остаешься с ребенком 1 раз в неделю по субботам с 4 до 6, например. Пусть пока будет 1 раз и на 2 часа, чтоб он не испугался. Следите, чтобы этот график соблюдался строго. Через пару месяцев добавите еще 2 часа в неделю.