Да ничего не держит, сами же говорите, что он с ней даже не живет. Он вообще в свое удовольствие живет, зачем ему усложнять себе жизнь совместным бытом с вами. А ответ на "почему я не могу быть с тем, с кем мне так хорошо" очень прост: потому что он не хочет быть с вами. Какие еще будут вопросы?