Спокойно сказать, что нет настроения, вежливо пожелать приятных выходных и не отвечать на звонки минимум недели две. Его поведение недопустимо, поэтому пусть сам отношения с Вами налаживает и пытается загладить вину. Потому что женатый возрастной кавалер должен в отношения с Вами вкладываться.