Если Вы свернете с ним общение, он даже не расстроится, точно так же, Вы не заденете его не подарив подарка, у него семья на первом месте, он женат. Его данный порядок вещей устраивает, а Вас нет. Это у Вас с ним "отношения", а у него с Вами секс. Оно Вам надо?