Значит не будут общаться с вашим ребенком. Я вообще не понимаю, что рядом с ним делают люди, которые целенаправленно подрывают ваш авторитет. Перестаньте бояться скандала. Хотя бы ради ребенка, раз ради себя не в состоянии. Родили - так берите наконец на себя ответственность, а не кивайте на родителей.