Не гарантирую, что у Вас именно так, но: возможно, что у Вас адекватные эмоциональные реакции на неадекватное поведение (неадекват в отношениях с отклонениями заключается в манипуляциях и в навязывании вам чужой воли). Именно поэтому вы испытываете чувство вины. Если бы чувство вины не возникало у Вас как навязанное следствие, у Вас его и не было бы и проблемы решались миром и серьезным и спокойным разговором.