Тут именно о нерукопожатности речь. Если бы они парня не вернули, а убили - к ним бы уже другое определение шло. О возврате уместно говорить, если у ребенка оказалась тяжелейшая, не поддающаяся коррекции психиатрия, или сами опекуны утратили здоровье, чтоб о ребенке заботиться. Но вменяемые в таком случае хотя бы стараются сразу другую семью найти, чтоб из рук в руки передать, а не в приют сдавать. А здесь именно потешили свое эго за счет ребенка. Но ребенок оказался "неблагодарным", эго не чесал - посему был гнан из семьи