Так это он вину свою сглаживает.Видно понимает,что вы неплохая женщина,ничего плохого ему не сделали,но любит он другую и не властен над своми чуствами,поэтому и уходить сам не хочет,чтоб чуство вины перед вами с ребенком его не замучало,вот он и ждет,чтоб вы его сами выгнали,типа переложить ответственность на вас.