УО разное бывает. Если автор до самой школы не замечала "ничего такого" - значит, степень легкая. И жить с ней вполне можно. Ну, не будет он профессором, но это однозначно не "оттягивание энергии на себя", не позор и не клеймо. И если данная ситуация - повод избавиться для ребенка - значит, любви там не было изначально. Но  все же склоняюсь к мысли, что разводка.