Как раз самый возраст, когда свою картину мира с жизнью всех вокруг сравнивают. Масса примеров, когда как раз 4-6тилетние дети спрашивают "а где твои дети?" у человека, с которым знакомятся. И образ женщины чаще всего для них "мама", поэтому могут рассматривать с точки зрения материнства и жалеть, что детей нет. Понятно, что это ваш пунктик и вам "везде мерещится", но не накручивайте себя слишком уж, так можно всех подозревать, что они что-то там себе думают про вас, тем более говорят всякое.