Не то, что раздражает, а бесит неимоверно. Иногда  ко мне так обращается свекор, он и сам по себе не вызывает у меня нежных ассоциаций, а вместе с "матушкой"  я завожусь с полоборота. "Никакая я вам не матушка" (с).