موضوع مقاله: توانایی شنیداری رایانه | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # توانایی شنیداری رایانه | مقدمه: استماع(شنیداری) رایانه (CA) یا گوش دادن رایانه، یکی از زمینه های مطالعه الگوریتم ها به صورت کلی و سیستم هایی برای درک صدا توسط ماشین است. | ## بخش 1: توانایی شنیداری رایانه | از آنجا که مفهوم "شنیدن" برای ماشین بسیار گسترده و تا حدودی مبهم است ، استماع کامپیوتر سعی می‌کند چندین قوانین و تعاریف را که به مسائل مربوط است یا کاربرد مستقیم و واقعی‌ای در مساله دارد را مورد توجه نگه دارد. از نظر فنی این امر ترکیبی از روشهایی که در موضوعاتی نظیر پردازش سیگنال ، مدل سازی شنیداری ، درک و شناخت موسیقی ، شناخت الگو و یادگیری ماشین و همچنین روشهای سنتی تر هوش مصنوعی وجود دارد برای نمایش دانش موسیقیایی نیاز دارد. برنامه های کاربردی همانند تقابل بینایی رایانه ای و پردازش تصویر ، استماع رایانه‌ای نیز در مقابل مهندسی صداها بیشتر به درک و دریافتن صدا می پردازد تا پردازش آن. همچنین از آنجایی که این مساله با سیگنالهای صوتی کلی، مانند صداهای طبیعی و ضبط های موسیقی سروکار دارد ، بنابراین با مساله درک گفتار توسط دستگاه نیز تفاوت‌هایی اساسی دارد. بکاربردهای استماع رایانه‌ای بسیار متنوع و گسترده است، و شامل جستجو برای اصوات ، تشخیص ژانر ، نظارت صوتی ، رونویسی موسیقی ، ضبط امتیاز ، بافت صوتی ، بداهه نواختن موسیقی ، احساسات در صداها و غیره می‌شود. موضوعات مرتبط استماع رایانه با رشته های زیر همپوشانی دارد: بازیابی اطلاعات موسیقی : روش هایی برای جستجو و تجزیه و تحلیل شباهت بین سیگنال های موسیقی. گوش دادن به ماشین: روش هایی برای استخراج پارامترهای معنی دار شنوایی از سیگنال های صوتی. موسیقی شناسی محاسباتی و تئوری موسیقی ریاضی: استفاده از الگوریتم هایی که از دانش موسیقی برای تجزیه و تحلیل داده های موسیقی استفاده می کنند. موضوعات مورد مطالعه از آنجا که سیگنال‌های صوتی توسط سیستم گوش-مغز انسان تفسیر می شوند ، بنابراین مکانیسم پیچیده ادراکی باید به نوعی در نرم‌افزار تحت عنوان "گوش دادن به ماشین" شبیه سازی شود. به عبارت دیگر ، برای عملکرد معادل و هم‌سطح با انسان ، رایانه باید محتوای صوتی را همانطور که انسان می‌شنود، بشنود و درک کند. تجزیه و تحلیل صوتی به طور دقیق شامل ترکیب کردن چندین موضوع است: مهندسی برق (تجزیه و تحلیل طیف صوتی ، فیلتر کردن و تبدیل صدا). علاوه بر این، تغییرات صوتی مانند تغییر گام، طولانی‌تر شدن از لحاظ زمانی و فیلتر کردن صوتی اشیا، نیز باید از نظر موسیقیایی و ادراک معنی‌دار باشند. برای نتایج بهتر، این تحولات نیاز به درک ادراکی‌ای از مدلهای طیفی ، استخراج ویژگیهای سطح بالا و عمیق و تحلیل / سنتز صدا دارد. درنهایت، برای ساختاردهی و کدگذاری محتوای یک فایل صوتی (صدا و فراداده) می‌توان از روش‌های فشرده سازی کارآمد بهره ببرد ، که اطلاعات نامفهوم و غیر قابل شنیدن در صدا را دور می‌اندازد. مدلهای محاسباتی موسیقی و درک صدا و شناخت آن می توانند منجر به نمایش معنادارتر ، تغییرات دیجیتالی بصری و تولید صدا و موسیقی در رابط های موسیقی انسان-ماشین شوند. | ## بخش 2: توانایی شنیداری رایانه | مطالعه توانایی شنیداری رایانه (CA) می تواند تقریباً به زیرمسائل زیر تقسیم شود: نمایش: سیگنال و نمادین. این جنبه با نمایش های فرکانس زمانی ، هم از نظر یادداشت ها و هم از طریق مدل های طیفی ، از جمله پخش الگو و بافت صوتی سروکار دارد. استخراج ویژگی ها : توصیف کننده های صدا ، تقسیم بندی ، شروع ، تشخیص گام و پاکت ، کروم و نمایش های شنیداری. شباهت صدا: روش هایی برای مقایسه بین اصوات ، شناسایی صدا ، تشخیص تازگی ، تقسیم بندی و خوشه بندی. شناخت شنیداری: مدل سازی احساسات ، پیش بینی و آشنایی ، تعجب شنیداری و تحلیل ساختار موسیقی. مسائل مربوط به نحوه بیان توانایی شنیداری رایانه با سیگنال های صوتی‌ای سروکار دارد که می توانند در انواع مختلفی از جمله کدینگ به صورت مستقیم صدای دیجیتال در دو یا چند کانال تا دستورالعمل های سنتزی به صورت نمادین بیان شوند. ضبط های دیجیتالی نمونه هایی از شکل موج صوتی یا پارامترهای الگوریتم های فشرده سازی صدا هستند . یکی از ویژگی های منحصر به فرد سیگنال‌های موسیقیایی آن است که آنها اغلب انواع مختلفی از نمایش را باهم ترکیب می کنند ، برای مثال اعداد گرافیکی و توالی ای از عملیات ها که به عنوان فایل‌های MIDI رمزگذاری می شوند. از آنجا که سیگنال های صوتی معمولاً شامل چندین منبع صوتی هستند، بنابراین برخلاف سیگنال های گفتاری که می توانند با توجه به مدل های خاص (مانند مدل فیلتر-منبع) به طور بهینه‌ای بیان شوند ، بیان پارامتری برای صدای کلی‌ای دشوار است. نمایش‌های صداها به صورت پارامتری معمولاً از بانک‌های فیلتری یا مدل‌های سینوسی برای ثبت پارامترهای چندین صدا استفاده می کنند ، گاهی اوقات به منظور گرفتن ساختار داخلی سیگنال ، اندازه نمایش را افزایش می دهند. انواع دیگری از داده‌ها که به استماع رایانه‌ای مرتبط هستند، توصیفی متنی از محتواهای صوتی ، مانند نوشتار، بازبینی و اطلاعات بصری در مورد ضبط های دیداری و شنیداری است. ویژگی‌ها تتوضیح محتوای سیگنالهای صوتی کلی معمولاً به استخراج ویژگیهایی نیاز دارد که جنبه های خاصی از سیگنال صوتی را ثبت می‌کنند. به صورت کلی ، می توان ویژگی‌ها را به سیگنال یا توصیفات ریاضی‌ای مانند انرژی، توصیف شکل طیفی و غیره ، توصیف آماری مانند تغییرات یا تشخیص نوآوری، بیان‌های ویژه‌ای که با طبیعت سیگنال های موسیقی یا سیستم شنوایی سازگارتر هستند تقسیم کرد ، مانند رشد لگاریتمی حساسیت ( پهنای باند ) در فرکانس یا عدم تحقق اکتاو (کروم). به این دلیل که مدلهای پارامتریک در صداها معمولاً به پارامترهای بسیاری نیاز دارند ، از این ویژگیها برای خلاصه کردن ویژگی‌های چندین پارامتر در یک نمایش فشرده یا برجسته تر استفاده می شود. دانش موسیقی یافتن ساختارهای موسیقی مشخص با استفاده از دانش موسیقیایی و همچنین با روشهای یادگیری ماشین نظارتی و بدون نظارت امکان پذیر است. | ## بخش 3: توانایی شنیداری رایانه | مثال‌هایی از این موارد عبارتند از: تشخیص تناژ(تونالیته)بر اساس توزیع فرکانس‌ها که با الگوهای رخ دادن نت‌ها در مقیاس های موسیقیایی مطابقت دارند، توزیع زمان شروع شدن نت برای تشخیص ساختار ضرب‌آهنگ ، توزیع انرژی در فرکانس های مختلف برای تشخیص آکورد موسیقی و غیره. شباهت صدا و مدل سازی توالی مقایسه کردن اصوات را می توان با مقایسه ویژگی‌ها با یا بدون توجه به زمان انجام داد. در بعضی موارد مشابهت کلی را می توان با مقادیر نزدیک ویژگیها بین دو صدا ارزیابی کرد. در موارد دیگر که ساختار زمانی مهم است، لازم است که روش های تاب دهی زمانی پویا برای "اصلاح" کردن تفاوت‌های مقیاس های زمانی مختلف رخدادهای صوتی استفاده شوند. یافتن تکرارها و زیردنباله های مشابه رخدادهای صوتی برای کارهایی مانند سنتز بافت و بداهه پردازی ماشین مهم است. متأسفانه، هیچ روشی وجود ندارد که بتواند این مشکل را به صورت قوی در برابر انواع خطاها حل کند. روشهای موجود برای جداسازی منبع گاهی به همبستگی و ارتباط بین کانالهای مختلف صوتی در ضبط‌های چند کاناله متکی هستند. سایر روشهای جداسازی منبع به یاد دادن یا خوشه‌بندی ویژگی ها در ضبط تکی، مانند دنبال کردن هارمونیکی مرتبط با هماهنگی برای تشخیص گام چندگانه متکی هستند. برخی از روش‌ها ، قبل از تشخیص واضح و مستقیم، با پیدا کردن کمترین میزان نمایش داده های پیچیده به بیان کردن ساختار میپردازند بدون آنکه از ساختار اطلاعاتی داشته باشند(مانند تشخیص اشیا در تصاویر بدون نسبت دادن برچسب معنی دار به آن‌ها) ، به عنوان مثال توصیف صحنه های صوتی ایجاد شده توسط چند الگوی تن و مسیر آنها (صدای چند صدایی) و خطوط صوتی رسم شده توسط یک لحن (آکورد). شناخت شنیداری گوش دادن به موسیقی و صدای عمومی معمولاً به عنوان یک کار به صورت مستقیم به حساب نمی‌آید. افراد به دلایل مختلفی که زیاد شناخته نشده است از موسیقی لذت می برند، اما معمولاً به تأثیر عاطفی موسیقی به دلیل ایجاد انتظارات و دریافتن یا نقض آنها اشاره می شود. حیوانات نشانه هایی از خطر را در صداها بروز می دهند، که می تواند نشانه ای خاص یا کلی از یک تغییر غافلگیر کننده و غیر منتظره باشد. بعموما، این مساله وضعیتی را به وجود می‌آورد که توانایی شنیداری رایانه نمی‌تواند فقط به تشخیص ویژگی های خاص یا ویژگی های صدا اعتماد کند و مجبور است روش های عامه‌ی سازگاری با تغییر محیط شنوایی و نظارت بر ساختار آن را ارائه دهد. این روش‌ها شامل تجزیه و تحلیل ساختارهای بزرگتر تکرار و ساختارهای خود-متشابهی در صدا برای تشخیص نوآوری و همچنین توانایی پیش بینی پویایی ویژگی های محلی است. تجزیه و تحلیل چند حالت در میان داده های موجود برای توصیف موسیقی، بازنمایی‌های متنی‌ای وجود دارد، مانند یادداشت های غیر رسمی، بررسی‌ها و انتقاداتی که محتواها و مفهوم‌های صوتی را به صورت کلمات توصیف می کنند. | ## جمع‌بندی | در موارد دیگر، عکس‌العمل‌های انسانی مانند قضاوت های عاطفی یا اندازه گیری های روانی-فیزیولوژیکی ممکن است بینشی در مورد محتویات و ساختار صوتی ایجاد کند.