Для Вас сейчас самое главное - на нервной почве не потерять молоко. Мужики приходят и уходят, ребенок -  на всю жизнь, и важно не потерять молоко.ИМХО Вы будете меньше дергаться, если он останется - при уходе горьких слез жалости к себе не избежать. Поэтому я бы поставила жесткий ультиматум и пока жила с ним, держа ухо востро. В любом случае с младенцем помощь мужа не лишняя. Сил Вам и - главное - спокойствия!