Так это вы считаете, что "нет" без объяснения причины невежливо  и грубо, а другие так не считают, единого мнения тут быть не может.  Да и потом почему вы думаете, что посторонние люди должны выдумывать  какие-то красивые сказки в качестве объяснений? Нет у тетеньки времени  или желания разговаривать с чужим маленьким ребенком, зуб у нее болит или книжка интересная, или боится отвлечься от наблюдения за собственным ребенком. Имеет она право не  развлекать чужого и не заботится о его психике? В конце концов, она сидела, никого не трогала и никому не мешала.