фуууух. инвалидность делать нужно ИМХО. если вы все его бросите, он все равно её сделает и докажет, что получил её будучи в браке, все равно платить  алименты придется (если вы их боитесь). а так-нехорошо человека бросать в трудной ситуации. Разговаривать надо. Говорить о том, как детям лучше. В данном случае детям лучше с его инвалидностью. А квартира чья?