Ну, м.б. он ищет отношений на стороне? Так что если вы не хотите в этом участвовать- смело спрашивайте прямо, тем самым и ему дадите понять, что у вас таких мыслей нет. А дальше уже посмотрите, изменится ли его поведение по отношению к вам или нет.