Правила задаёт он, вам остаётся выбрать принять их или отвергнуть. Он не рассматривает ваши отношения как гражданский брак, а вы стремитесь рассматривать именно в этом качестве. Он не считает себя обязанным возвращаться регулярно, у вас дружеский секс до тех пор, пока вы на это согласны. Большего не будет, он получает от ваших отношений всё что ему нужно от вас, а вы напрасно надеетесь.