Не сдавайтесь. Какие вообще у него могут быть аргументы после последнего разговора? Теперь ему надо или дело делать, или уходить на семейный отдых. А не языком трепать. Болтать может каждый. А вот то, что он ваш руководитель - очень плохо для вас. как бы не начал отыгрываться за счет работы.