У всех есть какие-то тараканы. А наши недостатки - продолжение наших достоинств. Ищите, что вам такая особенность дает, а не чего она вас лишает и используйте себе во благо.    У меня тоже есть проблемы с отказать. Особенно близким. Но это дает мне возможность попросить об ответной услуге и им будет также неудобно отказать.  С теми же, кто играет "в одни ворота" и не дает ничего взамен, я просто постепенно сворачиваю общение совсем.