А почему он редко дома бывает, раз работы постоянной нет? Автор, а есть ли возможность выйти вам на работу? Хоть не каждый день?  потому как нужна Вам возможность начать отходить от этого брака. Кстати, он либо видт, что Вы никуда не уйдете, либо же ему и правда уже плевать, уйдете или нет. Так что разводом надо угрожать всерьез: т.е только тогда. когда действительно собираетесь уйти.