Начальник другого отдела раньше руководил сразу двумя, значит, ему было по сути без разницы, кто где, поручал работу любому. Видимо, поэтому сейчас эти полтора человека все еще работают на вашего коллегу. Поговорите с коллегой, скажите, что надеетесь, что за 3 дня ваши сотрудники у него свои дела завершат. Если будет сопротивляться, это же продублируйте письменно, и потом с этим пойдете к эйчару, если что - консультироваться. Но я не думаю, что будет сопротивляться.