То, что Вы ощущаете, это совершенно нормальные эмоции в Вашей ситуации. И хотя они ничего общего с действительностью не имеют, испытывать их - совершенно естественно. Но если Вы не хотите прожить в этом всю свою жизнь, нужно выплывать срочно. Он... ну, примите как данность, что этот человек Вас просто не любит. И тоже мучается. И от своих тараканов, и от чувства вины, и Бог бы с ним. Есть возможность уйти от него - уходите. Нет возможности - меняйте срочно и изо всех сил свое отношение и своё поведение. Последите за своими реакциями на его упреки и прочие манипуляции - перестаньте "вестись" на них, выйдете из Вашей обычной роли и начинайте эмоционально дистанцироваться. Сместите центр Вашей вселенной с него на себя