sionic-ai/intent-classifier-demo

https://github.com/sionic-ai/intent-classifier-sample

Class Dictionary: {'Coding': 0, 'Information Seeking': 1, 'Language': 2, 'Others': 3, 'Writing': 4}

4 epoch version

accuracy: 0.95
precision: 0.95
recall: 0.95
F1 score: 0.95

confusion_matrix:
[[5681   49    0    3   19]
 [  93 5326   20   97  265]
 [   5    2 5845   39   15]
 [  12   76  167 2162  126]
 [  14  197    3   54 5626]]

성능 지표:
Accuracy (정확도): 0.95 - 전체 예측 중 95%가 정확했습니다.
Precision (정밀도): 0.95 - 모델이 특정 클래스라고 예측한 것 중 95%가 실제로 그 클래스였습니다.
Recall (재현율): 0.95 - 실제 특정 클래스인 것 중 95%를 모델이 올바르게 식별했습니다.
F1 score: 0.95 - 정밀도와 재현율의 조화평균으로, 모델의 전반적인 성능이 우수함을 나타냅니다.
혼동 행렬 (Confusion Matrix): 이 행렬은 5x5 크기로, 5개의 클래스가 있음을 의미합니다. 행은 실제 클래스를, 열은 예측된 클래스를 나타냅니다. [[5681 49 0 3 19] [ 93 5326 20 97 265] [ 5 2 5845 39 15] [ 12 76 167 2162 126] [ 14 197 3 54 5626]]
대각선 요소들(5681, 5326, 5845, 2162, 5626)은 각 클래스에 대해 정확하게 예측된 샘플의 수입니다.
다른 요소들은 오분류된 경우를 나타냅니다.
예를 들어:
첫 번째 클래스: 5681개 정확히 분류, 49개는 두 번째 클래스로 오분류, 3개는 네 번째 클래스로, 19개는 다섯 번째 클래스로 오분류되었습니다.
두 번째 클래스: 5326개 정확히 분류, 93개는 첫 번째 클래스로, 20개는 세 번째 클래스로, 97개는 네 번째 클래스로, 265개는 다섯 번째 클래스로 오분류되었습니다.
분석:
모델의 전반적인 성능이 매우 좋습니다 (95% 정확도).
세 번째 클래스의 분류 성능이 가장 우수합니다 (5845개 정확히 분류).
네 번째 클래스의 분류가 상대적으로 어려워 보입니다 (다른 클래스에 비해 오분류가 더 많음).
두 번째와 다섯 번째 클래스 사이에 약간의 혼동이 있는 것으로 보입니다 (265개와 197개의 상호 오분류).
이 결과는 모델이 전반적으로 매우 우수한 성능을 보이고 있지만, 특정 클래스 간의 구분에 있어 약간의 개선 여지가 있음을 나타냅니다.