Если раздражают те самые неработающие - значит Вам они действительно не нужны. Спокойно уменьшите общение. Не думаю, что это будет воспринято негативно. В компании мамочек обычно те, кто выходит на работу "исчезает с горизонта". Ни разу не встречала, чтобы это воспринималось негативно. Но, думаю, что матерям 3-х детей домохозяйкам действительно смешно слушать, что Вы заняты. И работа по полдня при одном ребенке никакого ужасного загруза не предполагает. Просто всегда есть люди на которых время найдется и те, на которых его не хватает.