Я уйду, если чужое поведение будет доставлять дискомфорт: сильно шумит, бегает слишком близко или раздражает другим способом. Кто это будет - инвалид или нет, на решение не повлияет. Единственное, в случае с инвалидом  я какое-то время подожду, чтобы уход не казался демонстративным.