Избавляйтесь от чувства вины, в чем вы перед ним виноваты-то? Обычный приемчик: внушить чувство вины, чтобы удобней было манипулировать...  Вы имеете право выйти из изживших себя отношений, как и любой человек.  Это ваша жизнь, и она никому не принадлежит, только вам.