Автор, вы пишете, что не хотите ничего регламентировать официально, чтобы ребенка не ввязывать. Но тут уже никуда не денешься, вы живете отдельно и ребенок в любом случае все видит и понимает. Сейчас он пока просто думает, что он вам не нужен, потому и смотрит на реакцию мамы, как она реагирует. С чего ей настраивать ребенка против вас, если ребенок и так все видит. Поэтому четкие рамки в любом случае надо ставить. А пока ситуация такая в глазах ребенка - что вы от него и его мамы оградились и не хотите общаться.