До развода никакого определения места жительства детей  нет и никакой суд спрашивать не надо. Автор может прямо  завтра уйти, временно оставив детей  с отцом по месту его жительства.  А дальше его  проблемы,  как он будет  справляться. Дееспособности его никто не  лишал. Пенсия  по  инвалидности назначена. Так что отцовские обязанности в полный рост. Думать надо было, когда без предохранения  сексом занимался и инвалидом себя делал.