پروژه عملی طبقه بندی با یادگیری ماشین صفر تا صد - قسمت 2

خب تا اینجا ما یک آزمایشگاه ساختیم و دیتاستمون رو اضافه و یکسری نمایشهای آماری و نموداری ازش دادیم. تو ادامه میخواییم که بریم و الگوریتمهای مختلف رو ارزیابی کنیم تا بتونیم بهترین الگوریتم رو انتخاب کنیم .قبل از اینکه بریم و مدلها رو پیاده سازی کنیم ما باید یک تغییر کوچیک تو دیتاستمون بدیم. بدین شکل که از مجموع دیتاستهامون که 150 تا نمونه بودند 80 درصدشون رو برای قسمت آموزش استفاده کنیم و 20 درصدشون هم برای بخش تست. یا داده های آموزشی مدلهامون رو آموزش میدیم و با قسمت تست مدلهامون رو تست میکنیم تا بتونیم بهترین مدل رو انتخاب کنیم....# Split-out validation dataset array = dataset.values X = array[:,0:4] y = array[:,4] X_train, X_validation, Y_train, Y_validation = train_test_split(X, y, test_size=0.20, random_state=1)با توجه به کد x_train و y-train داده های مربوط به آموزش و x-validation و y-validation برای داده های تست می باشد.همچنین random-state بدین منظور است که هر مدل دقیقا همان قسمت از داده را آموزش و تست ببیند و الگوریتمهای مختلف ، داده های مختلف را نگیرند.در این بخش به ایجاد مدل می پردازیم. در اینجا ما نمیدونیم که کدوم مدل روی دیتاست ما بهتر جواب میده و برای این منظور 6 مدل رو پیاده سازی و بررسی میکنیم .مدلهایی که در این مثال میخواییم بررسی کنیم :الگوریتم رگرسیون لجستیک : Logistic Regression (LR)الگوریتم تفکیک خطی : Linear Discriminant Analysis (LDA)الگوریتم K همسایه نزدیک :K-Nearest Neighbors (KNN)الگوریتم درخت دسته بندی و رگرسیون : Classification and Regression Trees (CART)الگوریتم دسته بندی بیز ساده گاوسی : Gaussian Naive Bayes (NB)الگوریتم ماشین بردار پشتیبان : Support Vector Machines (SVM)برای پیاده سازی این 6 مدل کد زیر را به پروژه خود اضافه میکنیم :...# Spot Check Algorithms models = [] models.append(('LR', LogisticRegression(solver='liblinear', multi_class='ovr'))) models.append(('LDA', LinearDiscriminantAnalysis())) models.append(('KNN', KNeighborsClassifier())) models.append(('CART', DecisionTreeClassifier())) models.append(('NB', GaussianNB())) models.append(('SVM', SVC(gamma='auto'))) # evaluate each model in turn results = [] names = [] for name, model in models: kfold = StratifiedKFold(n_splits=10, random_state=1, shuffle=True) cv_results = cross_val_score(model, X_train, Y_train, cv=kfold, scoring='accuracy') results.append(cv_results) names.append(name) print('%s: %f (%f)' % (name, cv_results.mean(), cv_results.std()))با توجه به کد بالا نوع اعتبار سنجی ما از نوع اعتبار سنجی متقابل kfold هستش و تقسیم بندیمونم 10 هستش.یعتی دیتا رو به 10 قسمت تقسیم میکنیم. 9 تاش آموزش و 1 یکی برای تست و سپس تکرار و تکرار.با اجرای کد تا این مرحله تصویر زیر رو داریم :نتایجی که شما میگیرید ممکن این ارقام نباشه چون بستگی به سیستم هم داره.با توجه به نتایج از شکل بالا گزینه آخر یعنی الگوریتم بردار پشتیبان یا SVM نتایج بهتری رو داره و 98 درصد عملکرد داشته.برای مقایسه شیک تر میتونیم یک نمودار هم برای نتایج مدلهامون ایجاد کنیم :...# Compare Algorithms pyplot.boxplot(results, labels=names) pyplot.title('Algorithm Comparison') pyplot.show()که خروجی زیر رو خواهیم داشت :خب آمار و ارقام و نمودارها نشون میدن که الگوریتم بردار پشتیبان یا همون svm بهترین و آخرین گزینه برای ما می باشد .برای ایجاد مدل نهایی کد زیر رو به پروژه اضافه میکنیم :...# Make predictions on validation dataset model = SVC(gamma='auto') model.fit(X_train, Y_train) predictions = model.predict(X_validation)خب حالا که مدلمون رو ایجاد کردیم میتونیم نتایج مورد انتظارمون اعتبارسنجی بکنیم و سپس دقت طبقه بندی و ماتریس درهم ریختگی را محاسبه و گزارش نتایج ارایه بدیم.خب برای این کار هم از کد زیر استفاده میکنیم :# Evaluate predictions print(accuracy_score(Y_validation, predictions)) print(confusion_matrix(Y_validation, predictions)) print(classification_report(Y_validation, predictions))خروجی نهایی ما :دقت رو که 96درصد نشون میده . ماتریس درهم ریختگی هم تعداد خطاها رو نشون میده و گزارش نتایج هم نشون دهنده ارزیابی نتایج براساس معیارهای مختلف هست.بطور کلی با توجه به نتایج با وجود اینکه تعداد نمونه امون کم بوده اما نتایج خوبی رو داشتیم.سورس کد کامل هر آنچه تو سه قسمت گفته شد :# Load libraries from pandas import read_csv from pandas.plotting import scatter_matrix from matplotlib import pyplot from sklearn.model_selection import train_test_split from sklearn.model_selection import cross_val_score from sklearn.model_selection import StratifiedKFold from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix from sklearn.metrics import accuracy_score from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.neighbors import KNeighborsClassifier from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.naive_bayes import GaussianNB from sklearn.svm import SVC # Load dataset mydataset = &quotC:\\Users\\USER\\Desktop\\machine\\iris.csv&quot names = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class'] dataset = read_csv(mydataset, names=names) # shape print(dataset.shape) # head print(dataset.head(5)) # descriptions print(dataset.describe()) # class distribution print(dataset.groupby('class').size()) # box and whisker plots dataset.plot(kind='box', subplots=True, layout=(2,2), sharex=False, sharey=False) pyplot.show() # histograms dataset.hist() pyplot.show() # scatter plot matrix scatter_matrix(dataset) pyplot.show() # Split-out validation dataset array = dataset.values X = array[:,0:4] y = array[:,4] X_train, X_validation, Y_train, Y_validation = train_test_split(X, y, test_size=0.20, random_state=1) # Spot Check Algorithms models = [] models.append(('LR', LogisticRegression(solver='liblinear', multi_class='ovr'))) models.append(('LDA', LinearDiscriminantAnalysis())) models.append(('KNN', KNeighborsClassifier())) models.append(('CART', DecisionTreeClassifier())) models.append(('NB', GaussianNB())) models.append(('SVM', SVC(gamma='auto'))) # evaluate each model in turn results = [] names = [] for name, model in models: kfold = StratifiedKFold(n_splits=10, random_state=1, shuffle=True) cv_results = cross_val_score(model, X_train, Y_train, cv=kfold, scoring='accuracy' results.append(cv_results) names.append(name) print('%s: %f (%f)' % (name, cv_results.mean(), cv_results.std())) # Compare Algorithms pyplot.boxplot(results, labels=names) pyplot.title('Algorithm Comparison') pyplot.show() # Make predictions on validation dataset model = SVC(gamma='auto') model.fit(X_train, Y_train) predictions = model.predict(X_validation) # Evaluate predictions print(accuracy_score(Y_validation, predictions)) print(confusion_matrix(Y_validation, predictions)) print(classification_report(Y_validation, predictions))سورس کد فقط مدل نهاییمون (بردار پشتیبان) بدون تست و ارزیابی سایر مدلها:# make predictions from pandas import read_csv from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix from sklearn.metrics import accuracy_score from sklearn.svm import SVC # Load dataset mydataset = &quotC:\\Users\\USER\\Desktop\\machine\\iris.csv&quot names = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class'] dataset = read_csv(mydataset, names=names) # Split-out validation dataset array = dataset.values X = array[:,0:4] y = array[:,4] X_train, X_validation, Y_train, Y_validation = train_test_split(X, y, test_size=0.20, random_state=1) # Make predictions on validation dataset model = SVC(gamma='auto') model.fit(X_train, Y_train) predictions = model.predict(X_validation) # Evaluate predictions print(accuracy_score(Y_validation, predictions)) print(confusion_matrix(Y_validation, predictions)) print(classification_report(Y_validation, predictions))تمام