Какая разница в каких вы отношениях с ребенком? Вам должно быть важно в каких вы отношениях с его законными представителями (в т.ч. с его матерью). Понятно, что ребенок не будет вызывать милицию. А вот мать вполне может это сделать. Поэтому вам и советуют не трогать ребенка, и не пытаться его выписать. Сделать это вы не сможете, а разозлить мать можете вполне. Как вы уже поняли, в квартире мужа вы находитесь незаконно. И мать при желании может устроить вам несладкую жизнь. Оно вам нужно?