Вам ни в коем случае не надо с ним ссориться. Но это НЕ значит, что вы должны ему что-то платить. Это значит, что вам надо максимально спокойно и доброжелательно ПО ФОРМЕ сворачивать разговоры на эту тему и вообще заканчивать с ним общение. И как можно быстрее физически переезжать от него, дистанцироваться. И продолжать вежливо и доброжелательно гасить его претензии.