Ну а вы не хотите просто прекратить с ними общение? Если вам это так некомфортно? Тут уже и разбирать нечего, кто прав, кто виноват. Вам не комфортно, отдаляете их от себя постепенно, да и все. По телефону говорите дежурные фразы. К ним не ездите. Зачем так себя мучить? Т.е. не прямо отказываете, и не в грубом тоне, а просто говорите, что не можете поехать, заняты, болеете. А они уж сами пусть думают, что хотят. Ну или точнее так: ездите только если что-то действительно случилось, не яблоки, а предположим госпитализация. Ведь бывает, что люди совсем не общаются со своими родителями. Ну сложилось как сложилось, зачем себя мучить?