Я бы стала общаться, при этом четко давая понять, что отношусь к нему не как к инвалиду, а как к нормальному мужчине - без жалости, дистанцированно и так далее. Думаю, любому человеку - если он интеллектуально развит, а судя по Вашему рассказу, это именно так - можно объяснить любую ситуацию. Вопрос не что сказать, вопрос - как сказать. Ну и, конечно, я бы привлекла мужа, друзей и еще кого-то, чтобы, если Вы вдруг по объективными причинам пропадете, человек не остался один. Бог Вам воздаст. В нашей стране инвалидам очень тяжело приходится.