Ну как - принять окончательно, что ему насрать  и на вас, и на ребенка. Если без него сейчас никак - сжать зубы и идти к намеченной цели. Если хоть какой-то шанс, что без него лучше - гнать к чертовой матери. Прикиньте, какие плюсы от его пребывания дома и как вы их можете скомпенсировать (няня, соседка, близкие).