Автор, вы путаете наглость и ваши служебные обязанности.Руководство  этим коллективом входит в ваши служебные обязанности.И вы же должны разъяснить сотрудникам, что тому дядьке они ничего не должны. Вы распоряжаетесь бюджетом -  вы даёте работу. Если они хотят у него работать - пусть переводятся официально к нему в отдел и там работают. Если  другому начальнику отдела нужна помощь людей вашего отдела -  он должен подойти к вам и попросить о содействии.