Юрист не до конца вам сказал. Распоряжаются имуществом детей оба родителя, т.е. и ваш сожитель в той же мере распоряжается этой квартирой, как и вы, не больше и не меньше. С выселением, по-видимому, та же сложность, захотеть выселиться он должен так же, как вы захотите его выселить