А вы не пробовали просто с ним поговорить на эту тему? Объяснить, что вам это не нравится. Без претензий, а просто обсудить. Может он не придает этому такого большого значения? Скажите, что вам это важно. Если после разговора опять так же сделает, напомните, что вам это важно. А если будет продолжать, то я бы просто свела к минимуму само время разговора. Сама бы первая всегда заканчивала. Обсудила только важную информацию, ну не знаю, там время встречи например. Встретимся завтра во столько-то там-то, ну все, пока.