Предположу, что дело в его прошлом, в его отношениях, которые были болезненно разрушены. И ему нужно осознать, что Вы - не она и история не повторится. Ниже эту мысль Вам уже писали - про ретроспективную травму. Может даже не его личную ситуацию, а, например, его родителей. Вот он и впадает в состояние, когда "всё нормально",  когда головой он понимает,  что это другая история, но память ему подсказывает сюжеты, от которых он хочет спрятаться и уйти. Он начинает заново переживать свою травму. И он понимает, что будет неправильно делиться с Вами этими переживаниями, поэтому встаёт и уходит. "Не чесать" эту рану у него не получается. При этом в Вашем рассказе звучит, что он "сам пошутил на тему прошлого". Почему и зачем в ваших диалогах вообще всплывает тема? Почему её не можете и не хотите сделать запретной? Больше не о чем общаться? Понятно, что " спусковым крючком " может являться что угодно: запах, музыка, точка географии. Но это его, а не Ваша проблема. Пусть сам делает всё, что хочет со своими воспоминаниями и переживаниями. Вас там нет. Если ему хочется попереживать - его дело. Если у него есть мысли "всё закончится одинаково" - его дело. Вытягивать его из этого состояния (утраты партнёра) путём сопереживания - это сюжет для друга, для родителя, для психолога, случайного попутчика, но не для партнёра. Но понимает ли он Ваши переживания в тот момент, когда встаёт и уходит? Когда замыкается в себе и перестаёт общаться с Вами даже на отвлечённые темы? Может и не понимает. Может нужно дать ему понять, что он "на пустом месте" нарушает ваши общие планы и текущее настоящее. Разрушение ваших общих с ним планов становится его ответственностью. Не только он лишается вашей общей прогулки , ночёвки, обеда, положительных эмоций, но и Вы. Он может не отдавать себе отчёт в том, что Вы чувствуете в момент разрушения этих планов. Но тут есть два нюанса. Он может не слышать Ваших планов, он может не чувствовать Ваших эмоций. И вполне можно об этом говорить, искать общий язык, иметь договорённости и традиции. Но, возможно, его картина совсем другая. Может Вас ему слишком много, может у него есть потребность побыть одному и для него в принципе не существует традиции "всегда обедаем вместе". Это всё та-же проблемка коммуникаций. Возможно, сюжет с вечерним уходом никак не связан с его нежеланием пойти обедать или невозможностью общаться по телефону. Но явно одно - упоминание прошлого мешает настоящему. Но настоящее и ближайшее будущее у вас не синхронизированы. Вроде-бы логично сделать вывод о том, что нужно разбираться с текущими ситуациями и краткосрочными планами. Нужно учиться слышать друг друга и текущую реальность. Иначе будут в будущем такие же рассинхронизации: - дорогой, забери сына из садика; - извини, я не в настроении (ну или - извини, сложно; я тебе ещё неделю назад сказал, что у меня на сегодня ответственные переговоры, а ты опять записалась на маникюр без учёта моих планов и возможностей). Вот какой вариант у вас? Он меняет все планы в зависимости от своего настроения или Вы не слышите о его текущей деятельности и планируете всё вокруг исключительно своего взгляда на мир?