Это прямой ответ - менять он ничего не будет. Вам либо верить ему на слово и продолжать отношения, либо нет, вот и все. Честно, для меня диковато (особенно в таком возрасте) такие вещи (с кем и как общается партнер) контролировать, но вы в своем праве. Если вам некомфортно, не стоит оставаться в этих отношениях.