Есть хорошая пословица: больше двух - говорят вслух. Вы изначально повели себя некрасиво, что начали шептаться в присутствии той мамы. Нужно было говорить открыто, не стесняясь и уж тем более не тыкая пальцем (тоже невоспитанно). Что делать? Подойти, извиниться и объяснять, что Вас неправильно поняли.