Уходить не надо, неудобства создадите только себе. Имеете право на половину имущества, нажитого в браке. При очередных словах про уход СПОКОЙНО заявляете ему, что пойдете в ЗАГС и напишите заявление о расторжении брака, после чего в суд на раздел имущества. Или больше не услышите эту фразу, или придется идти до конца.