Автор,  Вы, по-моему правильно поняли ситуацию.  Возможно, если бы вы переехали к нему, ваш мужчина даже ожидал бы от вас помощи всем его домочадцам. Как последний вариант попробуйте предложить ему переехать к вам. Так он смог бы и от нахлебников отдалиться.