مشکل لهجه در بازشناسی گفتار
لهجه ترکیبی از سه مؤلفه اصلی: آهنگ، اتصال کلمات و طرز تلفظ واجهاست . تحلیل‌های مبتنی بر ابزارهای آماری چند متغیره مانند PCA و ICA نشان می‌دهند که لهجه یکی از عوامل کلیدی در ایجاد تمایز میان گویندگان مختلف است. مشکلات ناشی از تنوع لهجه به اندازه تنوع جنسیت می‌تواند تأثیرگذار باشد. بنابراین، نیاز به سیستمی که بتواند به خوبی لهجه‌ها را شناسایی و از هم تفکیک نماید بشدت احساس می‌شود. دو فاز بسیار مهم که به منظور تعدیل اثر لهجه به سامانه بازشناسی گفتار اضافه می‌شوند عبارتند از فاز تطبیق مدل آکوستیکی با لهجه و فاز شناسایی لهجه . در فاز تطبیق مدل آکوستیکی با لهجه، سعی می‌کنیم به تعداد لهجه‌های موجود در دادگان، مدل آکوستیکی تطبیق یافته برای آن لهجه‌ها تولید نماییم و در فاز شناسایی لهجه، به تعیین لهجه یک جمله یا یک گوینده می‌پردازیم تا در مرحله بازشناسی بتوانیم مدل آکوستیکی تطبیق یافته مناسب را برای آن نمونه انتخاب کنیم.  منظور از تطبیق مدل، استفاده از مقدار کمی دادگان تطبیقی به منظور ایجاد تغییراتی در سیستم بازشناسی گفتار است به گونه‌ای که بتواند تا حد ممکن اطلاعات مربوط به داده جدید را مدل کند .عدم وجود دادگان کافی برای ساخت مدل‌های وابسته به لهجه و گوینده چالشی است که سازندگان مدل‌های آکوستیکی با آن مواجه هستند. پر واضح است که مدل‌های وابسته به گوینده و وابسته به لهجه دقت بالاتری دارند اما ساخت چنین مدل‌هایی نیازمند دادگان گفتاری کافی از هر لهجه یا گوینده است. آزمایش‌ها نشان می‌دهند که استفاده از مدل‌های واجی وابسته به لهجه که با تعداد کمی داده آموزش دیده‌اند به‌مراتب دقت کمتری نسبت به مدل‌هایی دارند که به صورت مستقل از لهجه و با دادگان زیاد آموزش دیده‌اند. این بدان معناست که اگر مجموعه دادگان گفتاری دارای چندین لهجه مختلف با تعداد داده کم در هر لهجه است، بهتر است به جای ساخت چند مدل مجزا برای هر لهجه، یک مدل جامع با تمام دادگان تمام لهجه‌ها بسازیم. این مدل جامع که با ترکیبی از دادگان لهجه‌های مختلف آموزش دیده است را مدل مرجع می‌نامیم. حال اگر این مدل مرجع به نوعی با دادگان خاص هر لهجه تطبیق داده شود انتظار می‌رود نتایج بهتری بدست آید. در این حالت پس از ساخت مدل مرجع، با استفاده از دادگان تطبیق هر لهجه و اعمال آن به مدل مرجع، فضای پارامتری مدل مرجع را به سمت فضای لهجه مورد نظر سوق می‌دهیم.  مسئله تطبیق مدل با لهجه به اندازه تطبیق گوینده مورد توجه محققان نبوده‌است. بنابراین، بدیهی است که تعداد روش‌های مطرح شده برای تطبیق مدل با لهجه بسیار کمتر از روش‌های تطبیق گوینده است. استفاده از روش‌های تطبیق پایه مانند MAP و MLLR و روش‌های پیچیده‌تر مانند فضای ویژه در تطبیق گوینده بسیار مرسوم است. با این حال در سال‌های اخیر مسئله تطبیق مدل آکوستیکی با لهجه، توجه بسیاری را بخود جلب کرده‌است. برخی مقالات اهمیت مسئله تنوع لهجه را هم سنگ با تنوع جنسیت دانسته‌اند. در یک دسته بندی، روش‌های تطبیق را به دو دسته تقسیم می‌کنند: با توجه به نحوه اجرای فاز آزمون، روش‌های تطبیق را به دو دسته دیگر تقسیم می‌کنند:
مسئله شناسایی لهجه یا رده‌بندی لهجه موضوع جدیدیست که اخیراً توجه بسیاری از محققان را بخود جلب کرده‌است. این در حالیست که مسئله شناسایی زبان موضوعی است که سال‌ها دانشمندان بر روی آن کار کرده‌اند و به دستاوردهای مفیدی رسیده‌اند. از آنجایی که این دو مسئله تا حد زیادی بهم شبیه هستند، بسیاری از افراد تلاش کرده‌اند از روش‌های پیشنهاد شده برای شناسایی زبان در مورد شناسایی لهجه استفاده نمایند. در برخی موارد نیز نتایج خوبی بدست آمده‌است اما در حقیقت زبان و لهجه تفاوت‌های اساسی با یکدیگر دارند. در زبان‌های مختلف، مجموعه واج‌های متفاوت و مجموعه کلمات متفاوتی وجود دارند که این خود یکی از پارامترهای مهم برای شناسایی و تفکیک زبان‌های مختلف از یکدیگر است. با توجه به این موضوع، استفاده از مدل‌های زبانی در روش‌های مختلف شناسایی زبان، جزئی جدایی ناپذیر در این حوزه می‌باشد. از این جنبه، مسئله شناسایی لهجه را می‌توان به دو دسته مجزا تفکیک کرد: یکی مسئله شناسایی لهجه‌های غیر بومی که بسیار شبیه به شناسایی زبان است زیرا در هر دو واج آرایی در یک جمله مهمترین پارامتر برای تفکیک کلاس‌های مختلف از یکدیگر است و دیگری مسئله شناسایی لهجه‌های محلی که در آن ویژگی‌های آکوستیکی نقش مهمی ایفا می‌کنند ؛ چرا که اغلب، مجموعه واج‌ها در لهجه‌های محلی یک زبان، یکسان هستند. اگرچه لهجه‌های مختلف ممکن است از لحاظ ریخت‌شناسی و تحولات لغوی، واژه نامه، صرف و نحو، واج‌آرایی و واج‌شناسی تا حدی با یکدیگر متفاوت باشند اما برجسته نمودن این تفاوت‌ها در حیطه لهجه بسیار دشوارتر از زبان است. بنابراین، بنظر می‌رسد موضوع شناسایی لهجه بسیار دشوارتر از شناسایی زبان باشد. در ادامه تعدادی از روش‌های پیشنهاد شده برای شناسایی لهجه را معرفی خواهیم نمود.
ساخت مدل هر لهجه و تعیین نزدیک‌ترین مدل به یک نمونه تستی با استفاده از الگوریتم بیشترین درستنمایی ، یکی از روش‌های پایه در این زمینه است. در مرجع با در نظر گرفتن دو حالت مختلف، روش‌هایی برای مقاوم‌سازی در برابر لهجه پیشنهاد شده‌است. در حالت اول، اگر برای هر لهجه دادگان کافی در اختیار باشد، می‌توان با ساخت مدل‌های وابسته به لهجه و اعمال الگوریتم بیشترین درست‌نمایی، گفتار لهجه‌دار را بازشناسی نمود. در حالت دوم، اگر دادگان کمی برای هر لهجه در اختیار داشته باشیم، با ساخت یک مدل مستقل از لهجه و بکارگیری تکنیک‌های تطبیق در سطح آوانویسی و ترکیب آن با روش‌های تطبیق MLLR به بازشناسی گفتار لهجه‌دار می‌پردازیم. تحقیقات نشان می‌دهند که ویژگی‌های پروزودیک می‌توانند به خوبی خصوصیات یک لهجه را نشان دهند. استخراج این ویژگی‌ها در کنار سایر ویژگی‌های آکوستیکی مانند MFCC و PLP، می‌توانند در شناسایی لهجه‌های مختلف مفید باشند. در همین راستا در مرجع روشی جامع برای استخراج ویژگی‌های پروزودیک مانند زیر و بمی، فرکانس فرمانت، انرژی و غیره ارائه نموده‌است. علاوه بر این، ویژگی‌های بلند مدت نظیر SDC نیز در کنار ویژگی‌های پروزودیک نتایج خوبی در شناسایی لهجه و شناسایی زبان داشتند . از ویژگی‌های SDC در کنار ویژگی‌های دیگر برای آموزش مدل مخلوط گاوسی برای هر زبان یا لهجه استفاده می‌شود. استفاده از تکنیک‌های متمایزساز مانند تحلیل متمایزساز خطی (LDA) و تحلیل متمایز ساز خطی ناهمگون (HLDA) نیز می‌توانند منجر به افزایش دقت رده‌بندی شوند . از طرف دیگر، مدل‌هایی که اغلب به عنوان مدل لهجه بکار گرفته می‌شوند از نوع GMM یا HMM هستند. شبکه عصبی و ماشین بردار پشتیبان (SVM)، کمتر در این حیطه بکار گرفته می‌شوند. برای مثال، در مرجع از مدل مخلوط گاوسی برای شناسایی لهجه استفاده شده‌است. در مرجع با توجه به وجود مرزهای فازی بین کلاس واج‌ها، از یک روش جدید مبتنی بر معیارهای فازی برای انتخاب مقادیر اولیه مخلوط‌های گاوسی استفاده شده‌است. در این روش، ارزش عضویت در کلاسترها، با توجه به فاصله‌های درون کلاستری و برون کلاستری محاسبه می‌شود. اگر بتوان بردار ویژگی‌ها را بشکلی مناسب فراهم کرد، SVM و ANN نیز می‌توانند در رده‌بندی لهجه مفید واقع شوند. برای مثال، در مرجع پس از دریافت سیگنال گفتار، با کمک یک بازشناس واج گاوسی، دنباله واج‌های آن سیگنال استخراج می‌شود. سپس به جای هر واج، ابر برداری شامل تمام میانگین‌های تمام مؤلفه‌های گاوسی آن واج جایگزین می‌گردد و بدین وسیله، یک سری بردار ویژگی جدید حاصل می‌شود که برای آموزش یک رده‌بند SVM بکار برده می‌شود. روش‌های متنوع بسیاری برای رده‌بندی و شناسایی لهجه‌ها وجود دارد. یکی دیگر از این روش‌ها که مرجع به آن اشاره کرده‌اند، روشی است که در آن با استفاده از یکسری تقطیع‌کننده‌های مبتنی بر GMM، گفتار را به دنباله‌ای از نمادها تبدیل می‌کنند. این نمادها در واقع شماره مؤلفه گاوسی مربوط به هر فریم هستند. در این روش‌ها ادعا می‌شود که ترتیب قرار گرفتن این نمادها در هر عبارت می‌تواند به شناسایی لهجه آن عبارت کمک کند.