تجزیه و تحلیل محتوای برخط
تجزیه و تحلیل محتوای خودکار

افزایش محتوای آنلاین میزان متن دیجیتال قابل استفاده در تحقیقات را به طرز چشمگیری افزایش داده‌است. مقدار متن موجود باعث ایجاد انگیزه در ابتکارات روش شناختی شده‌است تا بتواند مجموعه داده‌های متنی را بیش از حد عظیم توصیف کند که طبق روال متداول متد، رمزگذاری عملی نیست. پیشرفت در روش، همراه با افزایش ظرفیت و کاهش هزینه محاسبات، به محققان امکان استفاده از تکنیک‌هایی را داده‌است که قبلاً برای تجزیه و تحلیل مجموعه‌های زیادی از محتوای متنی در دسترس نبودند.
تجزیه و تحلیل خودکار محتوا نشان دهنده فاصله اندکی از روش تجزیه و تحلیل محتوای آنلاین مک میلان است، زیرا رمزگذارهای انسانی با یک روش محاسباتی تکمیل می‌شوند و برخی از این روش‌ها نیازی به دسته‌بندی ندارند که به صورت پیشرفته تعریف شوند. مدلهای تجزیه و تحلیل متنی کمی اغلب از روشهای «کلمه کلیدی» استفاده می‌کنند که ترتیب کلمات را حذف می‌کنند، کلمات بسیار رایج و بسیار غیر معمول را حذف می‌کنند و کلمات را از طریق lematatation یا stemming ساده می‌کنند که ابعاد متن را کاهش می‌دهد با کاهش کلمات پیچیده به کلمه اصلی آنها. گرچه این روش‌ها اساساً از نظر نحوه تفسیر متن کاهش گرایانه هستند، اما اگر به درستی اعمال و اعتبارسنجی شوند، می‌توانند بسیار مفید واقع شوند.
گریمر و استوارت (۲۰۱۳) دو دسته اصلی از تحلیل متن به صورت خودکار را شناسایی کردند: روش‌های نظارت شده و نظارت نشده. روشهای تحت نظارت شامل ایجاد یک طرح کدگذاری و کدگذاری دستی یک نمونه فرعی از اسنادی است که محقق می‌خواهد تجزیه و تحلیل کند. در حالت ایده‌آل، زیرمجموعه ای که «مجموعه آموزش» نامیده می‌شود نماینده کل نمونه است. سپس مجموعه آموزش رمزگذاری شده برای آموزش «الگوریتم» نحوه مطابقت کلمات در اسناد با هر دسته کدگذاری استفاده می‌شود. الگوریتم را می‌توان برای تجزیه و تحلیل خودکار اسناد موجود در مجموعه و گروه‌ها استفاده کرد.
متدهای دیکشنری: محقق مجموعه ای از کلمات کلیدی (n گرم) را برای هر گروه از پیش انتخاب می‌کند. سپس دستگاه از این کلمات کلیدی برای طبقه‌بندی هر واحد متن در یک گروه استفاده می‌کند.
روش‌های فردی: محقق نمونه متون را از قبل برچسب گذاری می‌کند و یک الگوریتم یادگیری ماشین را آموزش می‌دهد (به عنوان مثال الگوریتم SVM) با استفاده از آن برچسب‌ها. این ماشین با برون یابی اطلاعات مجموعه آموزشی، بقیه مشاهدات را برچسب گذاری می‌کند.
روش‌های گروه: محقق به جای استفاده از تنها یک الگوریتم یادگیری ماشین، مجموعه ای از آنها را آموزش می‌دهد و از برچسب‌های متعدد حاصل برای برچسب گذاری بقیه مشاهدات استفاده می‌کند (برای جزئیات بیشتر به Collingwood و Wiklerson 2011 مراجعه کنید).
مقیاس ایدئولوژیک تحت نظارت (به عنوان مثال کلمات کلیدی) برای قرار دادن واحدهای متنی مختلف در یک پیوستار ایدئولوژیکی استفاده می‌شود. محقق دو مجموعه متن را که نمایانگر هر افراط عقیدتی هستند ، انتخاب می‌کند که الگوریتم می‌تواند برای شناسایی کلماتی که متعلق به هر نقطه افراطی هستند، استفاده کند. باقیمانده متون در مجموعه بسته به تعداد کلمات هر مرجع افراطی مقیاس بندی می‌شوند.
وقتی مجموعه ای از دسته‌ها برای کدگذاری قبل از تجزیه و تحلیل به خوبی تعریف نشده باشند، می‌توان از روشهای بدون نظارت استفاده کرد. برخلاف روشهای تحت نظر، رمزگذارهای انسانی برای آموزش الگوریتم لازم نیستند. یک انتخاب اصلی برای محققان در هنگام استفاده از روش‌های بدون نظارت ، انتخاب تعداد دسته‌ها برای مرتب‌سازی اسناد به جای تعریف قبلی از این دسته‌ها می‌باشد.
مدل‌های عضویت منفرد: این مدل‌ها به‌طور خودکار متن‌ها را در دسته‌های مختلف دسته‌بندی می‌کنند که از یکدیگر جدا هستند و اسناد در یک و تنها یک دسته کدگذاری می‌شوند.
مدل‌های عضویت مختلط: طبق گفته‌های گریمر و استوارت (۱۷)، مدل‌های عضویت مختلط «با در نظر گرفتن ساختار اضافی و خاص مسئله، تولید مدل‌های یک عضو را بهبود می‌بخشند.» مدل‌های FAC با عضویت مختلط کلمات منفرد را در هر سند به دسته‌هایی طبقه‌بندی می‌کنند، به این ترتیب سند به‌طور کلی می‌تواند به‌طور همزمان بخشی از چندین دسته باشد. مدل‌های موضوعی نشان دهنده یک نمونه از FAC عضویت مختلط است که می‌تواند برای تجزیه و تحلیل تغییرات در تمرکز بازیگران سیاسی یا مقالات روزنامه استفاده شود. یکی از تکنیک‌های مورد استفاده برای مدل‌سازی موضوع، LDA است.