Мы же не про соседку говорим, которая подойдет и скажет, "слышь, а у тебя, кажись, ребенок ненормальный?". А о близких людях, которым небезразличен ребенок, и с которым мама уже общалась на эту тему. Так что отказ от общения действительно не грозит.