Конечно, не держали. Но фактически вы ему сказали: "Я тебя не держу, но сына ты больше не увидишь". Вы думали он после этого вас полюбит? Вы с ним по-человечески когда-нибудь разговаривали, не выдвигая тараном впереди "брось её сейчас же, а то узнаешь, где раки зимуют"?