Значит Вы едете в тот город, а не к нему. Просто из своего интереса, по своим делам. Обозначьте ему эту позицию. Встреча с ним в том городе - приятная случайность, но не более того.Судя по Вашему настрою - лучше сформировать у него ощущение, что Вы приезжаете с мужем (или с кем-то еще типа свекрови, детей и т.п.).Но готовы с ним там пересечься.