Речь о том, что это место не принадлежит конкретному инвалиду и он не может "разрешить" им кому-то пользоваться. И вообще, как автор наверняка может знать, в отъезде он или уже в пяти минутах? А "если не хочет ссориться с соседями" вообще звучит как угроза.