У него есть ключ. Он открыл ворота и закрыл их за собой. Больше он никому ничего не должен. Недовольные пусть сами разбираются с ТСЖ. Вы же в подъезд следом за собой всех подряд не впускаете, если он закрыт на замок у вас есть кнопка от него? Так же и тут.