А может это раздражение происходит из-за того, что ребенок не соответствует Вашим ожиданием и Вы не соответствуете Вашему образу, какая должна быть хорошая мама? Вы каждые раз общаясь с ребенком понимаете, что он не такой сообразительный как Вам бы хотелось, не такой умный, как Вам казалось должен быть Ваш ребенок, и раздражаетесь на него. И каждый раз общаясь с ребенком, понимаете. что и Вы не такая нежная, терпеливая и трепетная мама, которой как Вам казалось Вы должны быть. Может это раздражение от разочарование в себе?