По сути фактор один - по закону ребенок обязан проживать с одним из родителей. Органы опеки вполне могут поставить вас на учет потому что вы не выполняетет свои родительские обязанности. То что у мамы новый мужик, по закону не является оправданием для бросания ребенка! Вы несете за него ответсвенность а не бабушка.