А вы с ним не разговаривайте. Вы ему напишите письмо и уйдите на пару дней куда-нибудь к друзьям, дав ему понять, что за эту пару дней он должен выехать. В один из дней, когда он на работе, приезжаете и меняете замки. Все. Либо просите кого-то из друзей (брата, дядю, далее везде) выставить его из квартиры. И подаете на развод.