Он больше к вам, а вы сильнее дистанцируйтесь. Не поднимайте трубку или сбрасывайте звонок. Вы могли быть на совещании, разговаривать с начальником и т.п. Если будет дальше липнуть (хотя мне кажется через день-другой он все-таки поймет), проведите мягкую беседу о том, что вы очень, очень заняты сейчас.