Нас раздражают в других наши внутренние запреты, то, что мы сами себе не разрешаем. Вы вот  не можете себе позволить и не работать и развлекаться, а он может, и ему с этим нормально. Вопрос в том, какие РЕАЛЬНЫЕ неудобства для Вас приносит эта ситуация. Если они есть, тогда это и нужно обсуждать с Вашим ГМ.