Каждый отвечает за себя.  Тот факт что другие  не идеальны, не дает никаких индульгенций тебе лично.  Вообще никаких. И да,  если  "нефиг ребенку жить с матерью"  -  возьми и забери.  Самое логичное решение по-моему. И уж куда более   взрослое, чем пытаться  ее "воспитывать" (на что  тоже нет ни малейшего ни права, ни основания).