Да, морально это тяжело. Говорить "нет" вообще тяжело. Куча тренингов посвящена выработке этого навыка. Попробуйте примерить это слово на язык, потренируйтесь.И напоминайте себе, что Вы ничего не должны этому человеку. Вы не обязаны его обеспечивать и тратить на него свою жизнь, поскольку он даже не муж Вам.Погуглите "билль о правах личности", он может оказаться небесполезным.