recursal/Fanatic-Fandom huggingface dataset:
Densely Guided Knowledge Distillation using Multiple Teacher Assistants

Densely Guided Knowledge Distillation using Multiple Teacher Assistants(arXiv:2009.08825) 논문은 지식 증류를 할때 선생 모델과 학생 모델 사이의 지식을 줄이기 위해 교육조교(Teacher Assistant) 모델을 이용해 갭을 줄이는 TAKD(Teacher Assistant) 지식 증류법(doi 10.1609/aaai.v34i04.5963) 을 보완하여 DenseNet 처럼 덴스 연결을 넣은 DGKD(Densely Guided Knowledge Distillation) 기법을 만들었다.

기존 기법은 오류 눈사태(error avalanche) 문제에 취약하다. 상위 단계의 조교가 잘못되면 그 오류가 계속 하위 단계 조교와 학생에게 파급된다.

이 논문에선 이걸 방지하기 위해, 조교와 학생을 모든 상위단계의 조교와 선생과 연결할 것을 제안했다.

Deep Networks with Stochastic Depth(arXiv:1603.09382)와 Dropout: A Simple Way to Prevent Neural Networks from Overfitting(Dropout)의 기법대로 일부 지식 증류 그래프 연결을 확률론적(stochastic)으로 끊어주는 stochastic DGKD를 만들었다.

## 같이 보기

* Improved Knowledge Distillation via Teacher Assistant(doi 10.1609/aaai.v34i04.5963)

## 다른 강한 선생용 지식 증류

* Knowledge Distillation from A Stronger Teacher(arXiv:2205.10536)
인스턴스 분할

인스턴스 분할(Instance segmentation)은 영상 분할에서 서로 다른 개체만 구분하고 개체의 종류는 분류하지 않는 기법이다. 여러 객체 탐지 모델을 통해 인스턴스 분할을 한다.

## 데이터셋

* ADE20K
* Cityscapes (다른 분할에도 사용 가능)

## 주요 모델

* EVA: Exploring the Limits of Masked Visual Representation Learning at Scale(arXiv:2211.07636)
* Mask R-CNN
* CBNet: A Composite Backbone Network Architecture for Object Detection(arXiv:2107.00420)

## 같이 보기

* 의미론적 분할(Semantic segmentation)
* 팬옵틱 분할(Panoptic segmentation)
준지도 학습

준지도 학습(semi-supervised learning)은 기계학습에서 원하는 출력값(정답)이 없는 입력과 있는 입력을 동시에 가지고 학습하는 기법이다.

가정
--

준지도 학습이 성립하려면 다음의 4가지 가정이 필요하다.

* 클러스터 가정(cluster assumption): 같은 클러스터에 속하는 점끼리 같은 class에 속한다는 가정이다.
* 매끈함 가정(smoothness assumption): 입력 공간에서 가까이 있는 점끼리 label이 같다는 가정이다.
* 다양체 가정(manifold assumption): 다양체 가설(manifold hypothesis)과 연관 있는 가정이다. 다양체 가설에서는 실제 세상의 데이터가 더 낮은 차원의 다양체 위에 놓여있다고 본다. 다양체 가설에 따르면 같은 잠재 다양체 내부에 있는 데이터들은 같은 class에 속하여, 다양체 경계가 결정 경계(decision boundary)가 된다.
* 저밀도 가정(low-density assumption): 저밀도 가정은 입력 공간에서 class를 구분하는 결정 경계(decision boundary)는 입력 공간에서 밀도가 낮은 영역을 지난다는 가정이다. 이 가정에만 기반한 방법을 저밀도 분리(Low-Density Separation)라고 부른다.

기법
--

준지도 학습의 기법은 다양하다.

* Pseudo-label 기법: label이 있는 데이터를 바탕으로 label이 없는 데이터를 매번 분류해 Pseudo-label을 생성한 뒤, 네트워크가 Pseudo-label을 잘 에측해줬는지를 손실 함수에 반영하는 기법이다
* 저밀도 분리(Low-Density Separation): 저밀도 가정에 기반한 방법이다.

## 주요 논문

* Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks(ICML 2013)
* Data Distillation: Towards Omni-Supervised Learning(arXiv:1712.04440)
* MixMatch: A Holistic Approach to Semi-Supervised Learning(arXiv:1905.02249)
* Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning(arXiv:1908.02983)
* Self-training with Noisy Student improves ImageNet classification(arXiv:1911.04252)
* Meta Pseudo LabelsarXiv:2003.10580

## 같이 보기

* 지도 학습(supervised learning)
* 비지도 학습(unsupervised learning)
* 이상 탐지(anomaly detection)
* 자기 지도 학습(self-supervised learning)
Similarity-Preserving Knowledge Distillation

Similarity-Preserving Knowledge Distillation(arXiv:1907.09682)은 특징 맵을 활용하되 직접 선생과 학생 사이의 특징을 직접 비교하지는 않는 방식의 관계 기반 지식 증류 논문이다. 특징 증류의 성격이 있다.

구조
--

이 논문에서는 의미론적으로 비슷한 class의 이미지는 activation map이 비슷할 것이라는 철학에 따라 Similarity를 측정하고, 그 정보가 선생과 학생 사이에서 유지되도록 훈련하였다.

b개의 배치에 대해 Pairwise Similarities를 b X b 행렬로 추출하고, 학생과 선생 사이에 similarity가 비슷하게 나오는지를 손실에 반영하였다.

학생의 특징 맵과 선생의 특징 맵을 직접 비교하지 않은 이유는, 채널수가 달라 직접 일치도를 비교하기 어렵기 때문이다.

Rb×c×h×w의 형태를 가지는 출력을 Rb×chw로 바꾼 뒤, Transpose한 뒤 행렬곱을 휘하면 Rb×b가 되어 채널 수나 너비에 관계 없이 같은 모양의 유사도 행렬이 된다.

이제 이걸 row 별로 L2-norm으로 나누어 정규화한다.

학생과 선생에 대해 유사도 행렬의 차를 구하고, 이 값의 Frobenius norm의 제곱을 취한 뒤 b2로 나눈다. 이 값은 유사도 행렬의 차(b X b 행렬)에 대해 원소의 제곱의 합을 b2로 나눈 것과 같다.

이값에 조절 가능한 매개변수를 곱한 값을 교차 엔트로피 로스에 더하여 학생을 훈련할때의 손실 함수로 삼는다.

실험
--

실험은 CIFAR-10과 더 큰 CINIC-10에 대해 진행했다.
Differentiable Feature Aggregation Search for Knowledge Distillation

Differentiable Feature Aggregation Search for Knowledge Distillation(arXiv:2008.00506)는 DFA(Differentiable Feature Aggregation)라는 특징 증류 기법에 대한 논문이다.

구조
--

이 논문에서는 다른 특징 증류와 달리 학생과 비교할 선생의 출력을 계산할때 한 stage에 있는 같은 사이즈를 가진 여러 입력을 합쳐서 Feature Aggregation을 수행 후 bridge loss 를 계산했다.

Differentiable Feature aggregation (DFA)는 두가지 단계로 나뉘는데, 첫 단계는 가중치를 정하는 Aggregation Search이고, 두번째 단계는 그룹별로 특징을 비교하는 특징 증류 단계이다.

Aggregation Search는 신경망 아키텍처 탐색(NAS)기법을 응용한 DARTS: Differentiable Architecture Search(arXiv:1806.09055)을 응용했다.

Aggregation은 선생에 대해서는 element-wise add를 이용해서 채널수가 늘어나지 않게 하며, 따라서 가중치는 레이어 별로 학습 가능한 합이 1인 음아닌 실수로 정해진다.

학습을 부드럽게 하기 위해, 레이어별로 주어지는 beta를 학습한 뒤 softmax를 취하여 레이어별 가중지 alpha를 구했다.

teacher-to-student (TS) path는 변환을 거친 선생의 aggregated된 입력을 학생에 넣었을때의 교차 엔트로피 손실을 계산하고,

student-to-teacher (ST) path는 학생의 출력을 변환하여 aggregated된 선생의 출력과 각각 비교하는데, 각각을 L2 정규화 한 뒤에 L2 거리를 잰다.

이걸 다 더하면 i번째 stage에 대한 Bridge Loss가 된다.

실험
--

CIFAR-100, CINIC-10을 가지고 실험했다.
비지도 학습

비지도 학습(unsupervised learning)은 기계학습에서 원하는 출력값(정답)이 없는 입력을 가지고 학습하는 기법이다.

종류
--

* k-평균 클러스터링(k-means clustering)
* 주 성분 분석(principal component analysis)
* 독립 성분 분석(independent component analysis)
* t-SNE(t-distributed stochastic neighbor embedding)
* 스펙트럴 클러스터링(Spectral Clustering)
* 호프필드 네트워크
* 오토인코더(Autoencoder)
* 변분 오토인코더(Variational autoencoder, VAE)

## 딥러닝 벤치마크

Papers With Code에 태스크별로 벤치마크들이 정리되어 있다.

* unsupervised-image-classification(비지도 이미지 분류)
* unsupervised-domain-adaptation(비지도 도메인 적응)
* unsupervised-anomaly-detection(비지도 이상 탐지)
* unsupervised-reinforcement-learning(비지도 강화 학습)
* unsupervised-image-segmentation(비지도 이미지 분할)
* unsupervised-machine-translation(비지도 기계 번역)
* unsupervised-face-recognition(비지도 얼굴 인식)

* unsupervised-pre-training
* unsupervised-continual-domain-shift-learning
* unsupervised-extractive-summarization
* unsupervised-image-to-image-translation
* unsupervised-anomaly-detection-with-specified
* unsupervised-text-style-transfer
* unsupervised-person-re-identification
* unsupervised-object-localization

## 같이 보기

* 지도 학습(supervised learning)
* 준지도 학습(semisupervised learning)
* 이상 탐지(anomaly detection)
기계 탈학습

기계 탈학습(machine unlearning) 또는 머신 언러닝은 기계학습의 반의어로, 대규모 언어 모델 등의 모델에서 현재 상태 그대로 기억하는 것이 부적절한 정보를 삭제(탈학습)하는 기술이다.

허위정보나 저작권 침해, 프라이버시 침해, 스포일러 등에 관계된 정보를 삭제할 수 있다.

논문
--

* Machine Unlearning(arXiv:1912.03817)
* Machine Unlearning: A Survey(arXiv:2306.03558)
* Who's Harry Potter? Approximate Unlearning in LLMs(arXiv:2310.02238): 해리 포터의 스포일러를 탈학습 시킨 논문

## 같이 보기

* 프라이버시
* 잊혀질 권리
* 저작권 침해
* 탈학습
* 망각
* 보편적 학습설계(Universal Design for Learning, UDL)
BYOL

BYOL의 뜻은 다음과 같다.

* Bring Your Own License (BYOL)
* Bootstrap Your Own Latent A New Approach to Self-Supervised Learning(arXiv:2006.07733) : 자기 지도 학습 기법Bootstrap Your Own Latent(BYOL)

## 같이 보기

* 별
* STAR

BYOL에 대한 명확화 문서아 문서는 같은 제목을 공유하는 문서에 대한 명확화 문서입니다.Please follow one of the disambiguation links below or search to find the page you were looking for if it is not listed. If an internal link led you here, you may wish to change the link to point directly to the intended article.
CPC

CPC의 뜻은 다음과 같다.

* 클릭당 비용(Cost Per Click)
* Contrastive Predictive Coding
	+ Representation Learning with Contrastive Predictive Coding(arXiv:1807.03748)

CPC에 대한 명확화 문서아 문서는 같은 제목을 공유하는 문서에 대한 명확화 문서입니다.Please follow one of the disambiguation links below or search to find the page you were looking for if it is not listed. If an internal link led you here, you may wish to change the link to point directly to the intended article.
서브모듈러 함수

서브모듈러 함수(submodular function), 또는 서브모듈러 집합 함수(Submodular set function)는 준가법성과 유사한 성질을 가지고 있는 집합 함수이다.

f가 서브모듈러 함수이면 정의역에 있는 집합 S, T에 대해 f(S)+f(T)>=f(S∩T)+ f(S∪T)가 성립하고, 이것으로 정의된다.

이는 준가법 집합 함수 f(S)+f(T)>= f(S∪T)와 유사하다.

서브모듈러 함수들은 퍼지 집합(fuzzy set)에 대응되는 연속확장이 있다.

그 연속확장은 헝가리 수학자 로바스 라슬로(Lovász László)가 만든 로바스 확장과 다중선형보간법 확장등이 있다..
Ferret

Ferret의 뜻은 다음과 같다.

* 페럿(ferret) 은 동물이다.
* Ferret: Refer and Ground Anything Anywhere at Any Granularity(arXiv:2310.07704)은 애플의 멀티모달 대규모 언어 모델 논문이다.

Ferret에 대한 명확화 문서아 문서는 같은 제목을 공유하는 문서에 대한 명확화 문서입니다.Please follow one of the disambiguation links below or search to find the page you were looking for if it is not listed. If an internal link led you here, you may wish to change the link to point directly to the intended article.
미분방정식의 신경망 해법

미분방정식의 신경망 해법(neural network methods for differential equations)은 인공신경망으로 미분방정식을 푸는 것이다.

미분방정식의 수치해법은 편미분방정식과 상미분방정식이 다르다.

종류
--

* 물리정보 신경망(physics-informed neural networks, PINN)
	+ Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations(doi 10.1016/j.jcp.2018.10.045)
	+ Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What's next(arXiv:2201.05624)
* 푸리에 신경 연산자(Fourier Neural Operator)
	+ Fourier Neural Operator for Parametric Partial Differential Equations(arXiv:2010.08895)
	+ Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers(arXiv:2111.13587): A-FNO
	+ Spherical Fourier Neural Operators: Learning Stable Dynamics on the Sphere(arXiv:2306.03838): SFNO

## 관련 주제

관련 주제로는 미분방정식을 넣은 인공신경망이 있다. 이것도 직접 미분방정식의 풀이에도 사용되고, 시계열 문제 등을 모델링하거나 하는 다른 용도로도 사용된다.

* Neural Ordinary Differential Equations(arXiv:1806.07366)
* On Neural Differential Equations(arXiv:2202.02435)

## 같이 보기

* 미분방정식
	+ 확률미분방벙식
* 편미분방정식의 수치해법
	+ 룽게-쿠타 방법
* 상미분방정식의 수치해법
Improved Baselines with Momentum Contrastive Learning

Improved Baselines with Momentum Contrastive Learning(arXiv:2003.04297)은 MoCo의 두번째 (V2) 버전이다.

MoCo V1인 Momentum Contrast for Unsupervised Visual Representation Learning (arXiv:1911.05722)에 SimCLR의 요소를 넣어서 개량하였는데 MLP 헤드를 1레이어 fc head에서 2 layer 차리로 교체했다. 2048-d 은닉층(hidden layer)에 ReLU를 넣고 마지막에 새로운 fc layer를 넣은 것으로 교체했다.

mlp를 교체하게 되면, V1의 InfoNCE에 비해 좀더 높은 온도 τ에서 효율적이었다고 한다. 또한 데이터 증대 기법도 SimCLR의 요소를 넣어서 흐리게 하는 블러 증대(blur augmentation)기법을 적용했다.

코사인 학습률(cosine learning rate)을 적용시켜 학습률을 코사인 함수 곡선에 따라 감소시켰다.

실험
--

* ImageNet에서 비지도 학습을 하는 과제

1. 특징을 고정한 뒤 선형 분류기를 훈련시켜 정확도를 구하는 과제
2. Faster R-CNN과 PASCAL VOC를 이용한 실험

## 같이 보기

* MoCo(Momentum Contrast, 모멘텀 대조)
* Momentum Contrast for Unsupervised Visual Representation Learning (arXiv:1911.05722): MoCo V1
* An Empirical Study of Training Self-Supervised Vision Transformers(arXiv:2104.02057): MoCo V3
* Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination(arXiv:1805.01978)

## 같이 보기

* SEED: Self-supervised Distillation For Visual Representation(arXiv:2101.04731)
* SimCLR
Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation

Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation(arXiv:1905.08094)는 자기 지식 증류 기법 BYOT에 대한 논문으로, 서로 다른 깊이의 정보를 이용해서 지식 증류를 하는 논문이다.

진행
--

일반적으로. ResNet을 비롯한 네트워크들은 원본 이미지의 1/4, 1/8, 1/16, 1/32인 결과를 내놓는 4개의 stage를 가지고 있다.

첫 세 stage에 bottleneck을 연결하고, 각각 classifier를 연결해 준다.

깊은 stage에서 추출한 classifier 결과와 bottleneck feature를 더 얕은 stage에서 추출한 것의 선생으로 사용한다.

최종 결과를 포함한 네 classifier의 참 label과의 교차 엔트로피 손실, 선생과 학생 사이에 classifier label의 KL 발산, 선생과 학생 사이의 bottleneck feature의 차이에 관 L2 손실을 손실 함수로 사용한다.

실험
--

VGG, ResNet, ResNeXt, WideResNet, PyramidNet 등을 사용하였다.
다양체 가설

다양체 가설(Manifold hypothesis)은 실제 세상에 존재하는 고차원 데이터의 분포에 대한 가설로, 데이터의 차원수보다 더 적은 차원으로 표현되는 잠재 공간상의 다양체(이것을 잠재 다양체라고 한다.)들로 이루어진다는 가설이다. 따라서 한 다양체 내에서 임베딩을 찾으면, 데이터를 훨씬 적은 수의 차원으로 나타낼 수 있다.

또한 임베딩을 연속적으로 변화시켜서, 두 데이터의 사이에 있는 데이터를 찾을 수도 있게 된다.

다양체 가설에 대한 다른 연구로 데이터의 자유도가 적은 특이점이 있어서 이를 찾아야 한다는 연구도 있다.

## 같이 보기

* 차원 축소
* 데이터 증대
Momentum Contrast for Unsupervised Visual Representation Learning

Momentum Contrast for Unsupervised Visual Representation Learning (arXiv:1911.05722)는 대조 학습을 통한 자기 지도 학습의 기법인MoCo(Momentum Contrast, 모멘텀 대조)의 첫 번째 논문이다.

네트워크에 있는 쿼리 인코더에 통과시켜 q를, 모멘텀 인코더에 여러 입력을 통과시켜 key를 생성한 뒤 InfoNCE에 따라 유사도를 비교했다. 기존 기법인 end-to-end와 달리 여러 앞선 입력을 모아서 key로 활용하되, 기존 기법인 memory bank(arXiv:1805.01978)와 달리 선입선출법에 따라 먼저 들어온 키에 대응되는 값을 버려주어, 모멘텀 인코더의 인코딩 방법이 바뀜으로 인해 대조 학습이 망가지는 것을 막았다.

모멘텀 인코더의 k의 가중치는 쿼리 인코더 q보다 천천히 업데이트 되고, 직접적으로 경사하강법에 의해 학습되지 않도록 하였다.

θk ← mθk + (1 − m)θq.

## 같이 보기

* MoCo(Momentum Contrast, 모멘텀 대조)
* Improved Baselines with Momentum Contrastive Learning (arXiv:2003.04297): MoCo V2
* An Empirical Study of Training Self-Supervised Vision Transformers(arXiv:2104.02057): MoCo V3
* Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination(arXiv:1805.01978)

## 같이 보기

* SEED: Self-supervised Distillation For Visual Representation(arXiv:2101.04731)
* SimCLR
다중 라벨 분류

다중 라벨 분류(multi-label classification) 또는 다중 레이블 분류는 하나의 인스턴스가 동시에 여러 라벨에 속할 수 있는 분류이다.

방법
--

각 라벨에 대한 이진 분류를 수행하는 방법, 라벨의 조합 각각을 별개의 클래스로 보아 클래스의 수를 지수함수적으로 늘린 다항 분류를 수행하는 방법, 여러 라벨에 걸친 경우에도 전체 클래스의 합을 고정하고 Softmax 함수 따위를 거쳐 출력을 얻은 뒤 다항 분류와 같은 손실 함수를 적용하는 기법 등이 있다.

## 같이 보기

* 다항 분류(multiclass classification)
* 다중 인스턴스 학습(multiple instance learning, MIL)
* 해밍 거리(Hamming distance) : 손실 함수로서 해밍 손실(Hamming loss)라는 이름으로 다중 라벨 분류에 사용한다.
Distilling Knowledge via Knowledge Review

Distilling Knowledge via Knowledge Review(arXiv:2104.09044)는 지식 증류의 특징 증류에 대한 논문으로, 학생의 stage에 대응되는 선생의 stage의 지식을 이용하는 기존 특징 증류나 지식 증류 기법과 달리, 스승에서 대응되는 stage와 이전 stage를 모두 모아서 리뷰하여 비교하는 기법을 발명했다.

Same level information transfer만 적용하는 기존 기법 대신 Cross levels information transfer를 동원하여 정확도를 향상시켰다.

이를 위해 새로운 review mechanism을 제안했고, 그 성능 향상을 위해 attentation based fusion (ABF) 모듈과 hierarchical context loss (HCL) 함수를 제안했다.

실험
--

### 네트워크

* ResNet
* WideResNet
* ShuffleNet
* MobileNet
* Faster R-CNN
* RetinaNet
* Mask R-CNN

### 데이터셋

* CIFAR-100
* ImageNet
* COCO2017

#### 한 레이어 특징 증류

* FitNets: Hints for Thin Deep Nets(arXiv:1412.6550): FitNet
* Probabilistic Knowledge Transfer for Lightweight Deep Representation Learning(doi 10.1109/TNNLS.2020.2995884):PKT
* Contrastive Representation Distillation(arXiv:1910.10699):CRD
* Relational Knowledge Distillation(arXiv:1904.05068):RKD

#### 여러 레이어 특징 증류

* Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer(arXiv:1612.03928): AT
* Variational Information Distillation for Knowledge Transfer(arXiv:1904.05835): VID
* A Comprehensive Overhaul of Feature Distillation(arXiv:1904.01866):OFD
립싱크

립싱크(Lip sync)는 입술 동기화라는 뜻으로 음성에 맞추어 입술 모양을 움직이는 과정이다. 보통 가수가 노래를 부르는 것으로 속이고 립싱크를 하면 욕을 먹지만, 공연 장르에 따라 립싱크를 많이 해서 능력이 예술로 평가되는 장르도 있다.

## 기계학습 과제

얼굴의 입술 모양을 생성하는 기계학습 과제가 있으며
A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild(arXiv:2008.10010) 논문에서 발표된 Wav2Lip: Accurately Lip-syncing Videos In The Wild 모델이 입술 생성 성능이 높은 것으로 알려져 있다.

## 같이 보기

* 독순술
* 음악
* 노래
SLaK

SLaK(Sparse Large Kernel Network)은 More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity 논문에서 제안된 합성곱 신경망이다.

특징
--

* 큰 M×M kernel을 사용하는 대신 M×N, N×M 두개의 합성곱 커널로 분해한다.
* 직사각형 모양의 커널에 각각 통과시킨 결과를 합친다. 이때 큰 직사각형 커널은 희소 행렬의 형태로 만들어 속도를 향상시킨다.
* 선택에 따라 작은 정사각형 형태의 N×N 커널을 통과시킨 결과까지 3개의 커널을 사용할 수 있다.
지식 증류 논문 목록

## 논문의 목록

Knowledge Distillation: A Survey(arXiv:2006.05525, doi 10.1007/s11263-021-01453-z)

## 과업별 목록

객체 탐지
* Localization Distillation for Dense Object Detection(arXiv:2102.12252)

자연어 처리
* Patient Knowledge Distillation for BERT Model Compression(arXiv:1908.09355): Patient KD(PKD)
* Why Skip If You Can Combine: A Simple Knowledge Distillation Technique for Intermediate Layers(arXiv:2010.03034): CKD(combinatorial KD)

## 구조별 목록

보조 교사(auxiliary teacher), 혹은 교육조교(teacher assistant) 이용
* Heterogeneous Knowledge Distillation using Information Flow Modeling(arXiv:2005.00727)
* Improved Knowledge Distillation via Teacher Assistant(doi 10.1609/aaai.v34i04.5963)
* Private Model Compression via Knowledge Distillation
* Densely Guided Knowledge Distillation using Multiple Teacher Assistants(arXiv:2009.08825)

프라이버시 관련
* Private Model Compression via Knowledge Distillation(arXiv:1811.05072) : 차분 프라이버시(Differential Privacy) 관련
* Federated Model Distillation with Noise-Free Differential Privacy(arXiv:2009.05537

보조 분류기(auxiliary classifier) 즉 특징에 연결된 분류기 관련
* Task-Oriented Feature Distillation(NIPC
* Hierarchical Self-supervised Augmented Knowledge Distillation(arXiv:2107.13715)
LSA

* 잠재 의미 분석(Latent Semantic Analysis, LSA)
* 최소제곱조정(Least-squares adjustment)

LSA에 대한 명확화 문서아 문서는 같은 제목을 공유하는 문서에 대한 명확화 문서입니다.Please follow one of the disambiguation links below or search to find the page you were looking for if it is not listed. If an internal link led you here, you may wish to change the link to point directly to the intended article.
SAD

SAD의 뜻은 다음과 같다.

* 준지도 학습 방식의 검출(Semi-Supervised Detection)
	+ 준지도 이상 탐지(Semi-Supervised Anomaly Detection)
	+ Deep Semi-Supervised Anomaly Detection(arXiv:1906.02694) : Deep SAD
* 자기 주의집중 증류(Self Attention Distillation)
	+ Learning Lightweight Lane Detection CNNs by Self Attention Distillation(arXiv:1908.00821)

SAD에 대한 명확화 문서아 문서는 같은 제목을 공유하는 문서에 대한 명확화 문서입니다.Please follow one of the disambiguation links below or search to find the page you were looking for if it is not listed. If an internal link led you here, you may wish to change the link to point directly to the intended article.
Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation

Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation(arXiv:2103.08273)는 Feature Refinement via Self-Knowledge Distillation (FRSKD)라는 특징 증류와 일반 지식 증류(로짓 증류)를 같이 사용하는 자기 지식 증류 기법에 대한 논문이다. CVPR 2021에 발표되었다. EfficientDet: Scalable and Efficient Object Detection(arXiv:1911.09070)에서 발표된 양방향 특징 피라미드 네트워크(BiFPN)을 적용했다.

설명
--

### 구조

지식 증류 구조
 F1 | L1 |  | T1

본 논문의 지식 증류는 기본적인 분류 네트워크에서 추출한 특징을 이용해 양방향 특징 피라미드 네트워크(BiFPN)기법에 따라 자기 증류 네트워크(Self-Teacher Network)를 구성하고, 4개 계층 별로 특징 증류 손실을, 최종 로짓에 대해 로짓 증류 손실을 구한 뒤 더한 값을 최소화하는 방식으로 구성된다.

분류 네트워크에서 추출한 특징을 받아 lateral convolutional layer의 값을 구한다.

Li = Conv(Fi ; di)

top-down path에서는 위층의 P와 같은 층의 L을 받아 P를 만들어내고,

bottom-up path에서는 아래층의 T와 같은 층의 L, P를 받아 T를 만들어낸다. 그 뒤에 T와 F와 비교해서 손실을 구한다.

Pi = Conv(wPi,1· Li + wPi,2· Resize(Pi+1); d
i)

Ti = Conv(wTi,1· Li + wTi,2· Pi + wTi,3· Resize(Pi-1); d
i)

P1과 P4가 없는 대신, L4->P3과 P2->T1의 대각선 연결이 각각 있다.

### 손실 함수

Attention Transfer 논문(arXiv:1612.03928)에 나온데로 채널별 풀링(channel-wise pooling)을 해서 1채널로 줄인 feature에 L2 정규화를 한 뒤, 학생과 선생의 차이를 이용해 특징 증류 손실을 구하였다.

최종 손실 함수는 학생의 교차 엔트로피, 자기 선생 네트워크의 교차 엔트로피를 더하고,

둘 사이의 로짓 증류 손실의 상수배, 특징 증류 손실의 상수배를 더해서 얻는다.

최적화를 할때, 자기 선생 네트워크의 가중치들은 지식 증류 손실을 통해 업데이트되지 않도록 했는데, 이는
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning(arXiv:1704.03976)에서 다뤄진 문제 때문이다. Self-teacher network의 가중치는 오로지 Self-teacher network의 교차 엔트로피 손실 항에 의해서만 업데이트 된다.

## 대조군

* Knowledge Distillation by On-the-Fly Native Ensemble(arXiv:1806.04606): ONE
* Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation(arXiv:1905.08094) : BYOT
* Data-Distortion Guided Self-Distillation for Deep Neural Networks(doi 10.1609/aaai.v33i01.33015565) : DDGSD
* Regularizing Class-wise Predictions via Self-knowledge Distillation (arXiv:2003.13964) : CSKD
* Self-supervised Label Augmentation via Input Transformations (arXiv:1910.05872) : SLA-SD
* Learning Lightweight Lane Detection CNNs by Self Attention Distillation (arXiv:1908.00821) : SAD

## 주요 인용 논문

### 자기 지식 증류 관련

* Knowledge Distillation by On-the-Fly Native Ensemble(arXiv:1806.04606): ONE
* Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation(arXiv:1905.08094) : BYOT
* Data-Distortion Guided Self-Distillation for Deep Neural Networks(doi 10.1609/aaai.v33i01.33015565) : DDGSD
* Regularizing Class-wise Predictions via Self-knowledge Distillation (arXiv:2003.13964) : CSKD
* Self-supervised Label Augmentation via Input Transformations (arXiv:1910.05872) : SLA-SD

### 특징 피라미드 구조 관련

* Feature Pyramid Networks for Object Detection(arXiv:1612.03144)
* Path Aggregation Network for Instance Segmentation(arXiv:1803.01534)
* EfficientDet: Scalable and Efficient Object Detection(arXiv:1911.09070)
스테레오 깊이 추정

스테레오 깊이 추정(Stereo depth estimation)은 좌우 양쪽의 이미지를 사용해서 깊이 추정(depth estimation)을 하는 기법으로 스테레오 정합(Stereo matching)을 이용해서 양안시차(Binocular disparity)를 계산하는 경우가 많다.

논문
--

* Pyramid Stereo Matching Network(arXiv:1803.08669)
* AANet: Adaptive Aggregation Network for Efficient Stereo Matching(arXiv:2004.09548)

## 같이 보기

* RGBD
* RGBD 카메라
* 스테레오 정합
Middle East Wiki

# **Welcome to the Middle East Wiki!**

***Hello there, geographips! Welcome to the Middle East. In this wiki, you will recieve information about the region of the Middle East, it's countries, territories, seas and gulfs.***
## Regions

* Middle East
* Levant

## Countries

### *Full UN member states*

* Bahrain
* Cyprus
* Egypt
* Iran
* Iraq
* Israel
* Jordan
* Kuwait
* Lebanon
* Oman
* Qatar
* Saudi Arabia
* Syria
* Turkey
* United Arab Emirates
* Yemen

## Seas

* Gulf of Aden
* Gulf of Aqaba
* Gulf of Oman
* Gulf of Suez
* Persian Gulf

## Gulfs

* Mediterranean Sea
* Red Sea
* Persian Gulf
* Caspian Sea
Total Drama: The Crossover Challenge Wiki

**Welcome to the Total Drama: The Crossover Challenge Wiki!**
Wiki for a fanmade Total Drama series

We're a collaborative community website about Total Drama: The Crossover Challenge that anyone, including you, can build and expand. Wikis like this one depend on readers getting involved and adding content. Click the "ADD NEW PAGE" or "EDIT" button at the top of any page to get started!

## Important articles

PlaceholderA page about your topicPlaceholderA Main CharacterPlaceholderThe First EpisodePlaceholderAn Important LocationPlaceholderA Key EventPlaceholderA Crucial Item

*Need help building out this community?*

* Rules of this wiki
* Getting Started
* How to Contribute
* Managing your new community
* Guides
* All Help articles

You can also be part of the larger Fandom family of communities. Visit Fandom's Community Central!

*Community Founders*: Write a good and paragraph-length description for your welcome section about your topic. Let your readers know what your topic is about and add some general information about it. Then you should visit the admin dashboard for more tips.
멀티모달 대규모 언어 모델

멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 여러 모달리티의 데이터 (텍스트, 음성, 이미지 등)에 대해 학습된 대규모 언어 모델이다.

예시
--

* Language Is Not All You Need: Aligning Perception with Language Models(arXiv:2302.14045) : Kosmos-1 (마이크로소프트)
* Ferret: Refer and Ground Anything Anywhere at Any Granularity(arXiv:2310.07704) : Ferret (애플)

## 같이 보기

* 멀티모달
* 멀티모달 학습
Piano Game

Piano Game is a minigame in Normal Mode. It has a chance of appearing and it is where the players selected are to step on the correct piano key.

When you spawn in this minigame a hand will play notes and guide you to play them. You have 10 seconds to step on a piano key. When you step on a correct note, A jingle will play and you will automatically walk back to the spot you spawned in. If you step on the incorrect note, the notes will play and they will fall down and you will die. If the game says “Again!” this means that you will have to repeat the notes again.

Once finished, The game will play the notes the players have played. If the players get a score 80% or higher, The hands will clap. 79% or lower, they will throw tomatoes.

* This page is in progress.
* The notes are claimed to be based off Legend of Zelda.
* The song that plays while the introduction screen is shown is “The Entertainer”.
* You can receive a badge for getting this minigame called “RARE MINIGAME #1”.
RepLKNet

RepLKNet(Re-parameterized Large Kernel Network)은 Revisiting Large Kernel Design in CNNs 논문에서 제안된 합성곱 신경망이다.

특징
--

1. 수용영역(receptive field)이 커지도록 커널 크기(kernel size)를 키우기 위해 깊이별 합성곱(depth-wise convolution)을 적용했다.
2. 활성 함수나 합성곱 등이 적용되지 않고 항등함수로 연결된 숏컷(identity shortcut)을 적용했다.
3. 구조적 재매개변수화(Structural Re-parameterization) 기법을 적용했다. 훈련 시에는 큰 레이어 옆에 3x3 합성곱을 같이 배치한 뒤, 분류만 할때는 동일한 계산결과가 나오도록 3x3 합성곱의 가중치를 큰 합성곱 레이어에 합쳐서, 큰 커널이 작은 커널에서 잘 처리하는 요소까지 수용할 수 있도록 했다.
4. 큰 합성곱을 사용하는 것은 이미지넷 분류보다 downstream task에 효과적이다.
5. 특징맵(feature map) 크기가 작은 최종 단계쪽에서도 큰 커널을 사용하는게 효과적이다. 이때 큰 커널은 네트워크거 절대 위치와 상대 위치를 잘 학습하도록 돕는다. (상대 위치는 합성곱을 통해, 절대 위치는 패딩을 통해 학습한다)

코드
--

* RepLKNet
Paraphrasing Complex Network: Network Compression via Factor Transfer

Paraphrasing Complex Network: Network Compression via Factor Transfer(arXiv:1802.04977)는 Factor Transfer(FT)라는 특징 증류 기법을 발견한 논문이다. 서울대학교 곽노준 교수님 연구팀의 논문이다.

원리
--

기존 Attention Transfer(arXiv:1612.03928) 기법과 힌턴의 KD (arXiv:1503.02531), FSP(doi 10.1109/CVPR.2017.754)와 달리 선생의 채널 수를 비지도 학습 방법으로 늘린 뒤에 비교를 진행한다.

이 논문의 철학은 완전히 개념을 이해했다면, 스스로 잘 설명할 수 있어야 하고, 또한 학생이 모르는 자기만의 용어를 사용하지 않고 설명할 수 있어야 한다고 말한다. 이를 위해 선생과 학생이 추출한 특징을 변환하여, 주고받기 쉬운 factor를 만들게 된다.

이 증류에서는 선생과 학생 모두 last group의 특징 맵을 사용하는데, 가장 전하기 좋은 정보를 가지고 있기 때문이다.

선생 네트워크는 비지도 학습 기반의 패러프레이저(paraphraser)를 거쳐 추출한 특징을 factor로 변환해주고, 학생 네트워크는 트랜슬레이터(translator)를 거쳐 특징을 변환한다.

선생 네트워크의 채널수가 m이고, paraphrase rate가 k라면, 2 레이어로 된 패러프레이저는 m 채널을 가진 입력 x를 m × k 채널로 변조시켜 teacher factor로 삼은 뒤, 다시 m 채널로 줄여주어 P(x)로 만든다.

x와 P(x)의 차이에 대해 2-norm을 구하고 제곱한 것을 선생의 reconstruction loss로 삼는다.

학생의 네트워크에서는 1개의 레이어를 거쳐 student factor로 변환해, 채널 수를 맞추어 준다.

선생의 factor와 학생의 factor를 2-norm으로 나누어 정규화 하여 둘 사이의 차이를 구한 뒤, 거기에 p-노름을 취해서 factor loss를 구한다.

학생의 손실은 일반적인 분류 손실에, factor loss와 상수 β의 곱을 더한 것과 같다.

실험
--

### 대조군

1. Attention Transfer (AT) (Zagoruyko & Komodakis, 2016a) arXiv:1612.03928
2. Distilling the Knowledge in a Neural Network (KD) (Hinton et al., 2015) arXiv:1503.02531
3. FitNets: Hints for Thin Deep Nets (Romero et al., 2014) arXiv:1412.6550 : FT

### 데이터셋

* CIFAR-100
* CIFAR-10

### 모델

* ResNet
* WideResNet
* VGGNet

## 같이 보기

* Designing Neural Network Architectures using Reinforcement Learning(arXiv:1611.02167) : MetaQNN
* Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer(arXiv:1612.03928): AT
* A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning(doi 10.1109/CVPR.2017.754): FSP

Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer
Gods Will (Roblox) Wiki

**Welcome to the Gods Will (Roblox) Wiki!**
This wiki is about God’s Will (Roblox) and is meant to help inform players.

We're a collaborative community website about Gods Will (Roblox) that anyone, including you, can build and expand. Wikis like this one depend on readers getting involved and adding content. Click the "ADD NEW PAGE" or "EDIT" button at the top of any page to get started!

## Important articles

PlaceholderA page about your topicPlaceholderA Main CharacterPlaceholderThe First EpisodePlaceholderAn Important LocationPlaceholderA Key EventPlaceholderA Crucial Item

*Need help building out this community?*

* Rules of this wiki
* Getting Started
* How to Contribute
* Managing your new community
* Guides
* All Help articles

You can also be part of the larger Fandom family of communities. Visit Fandom's Community Central!

*Community Founders*: Write a good and paragraph-length description for your welcome section about your topic. Let your readers know what your topic is about and add some general information about it. Then you should visit the admin dashboard for more tips.
Musical Chairs

Musical Chairs is a minigame in Normal Mode where the players have to sit on a chair that isn’t broken before the time runs out or before all the chairs are taken.

The minigame starts off of the player falling down. The game will begin and the Kagome Dolls will begin singing Kagome Kagome while spinning around in a circle. While they are singing the player has an opportunity to take a chair or steal one. When the dolls stop singing the time limit will begin and the player must sit on a chair that isn’t broken. Once the time limit is done or all the chairs are not available except for the broken ones, One of the Kagome Dolls will use a laser to kill the player(s) that isn’t in a chair. Then a new game of Musical Chairs will begin except that the background will change into a sky and progress into a red sky.

Once the game is finished, All the dolls will bend back and explode. The will explode in half and will scatter everywhere. Then a door will come out the ground and will open.

* This page is in development.

TIPS

* Throw the broken chairs to destroy them to not get confused with a regular chair.
* Push someone to take their chair if you don’t have one.
* Occasionally throw the chair and then pick it up far away to reset the holding limit before the game will make you throw it.
* If someone throws their chair and the time limit begins, Try to take their chair.

SONG

The song that the Kagome Dolls sing is Kagome Kagome. Once they stop singing and the music ends, The countdown will begin. The lyrics will be shown in Japanese and English. (The words in bold are added to match the singing)

Kagome Kagome

Circle, Circle

Kago no naka no tori wa

The bird in the cage, **bird in the cage**

Itsu itsu deyaru

When, oh when will it come out

Yoake no ban ni

In the night of the dawn **(or evening)**

Tsuru to kame ga subetta

The crane and the turtle slipped. **they slipped**

Ushiro no shoumen daare

Who is behind you now

Background

The background in Musical Chairs is plain white with colorful squares and rectangles. As the rectangles and squares move around in a circle like the Kagome Dolls, they might transform into squares and rectangles. They won’t change with the background. As each new game of Musical Chairs begin, The background first turns into a sky. Then it will become a pixelated and saturated version each time a new game of Musical Chairs is done.
The Amobius Race Season 2

## Season Information:

### Starting Line:

Hermosa Beach Pier, Hermosa Beach, California

## Teams

**Silver & Blaze** -
***#TeamPsychic***
**Lobo & Lupe** -
***#TeamMoondancer***
**Ash & Mina** -
 Racing

**Honey & Lara Sue** -
***#TeamFashionista***
**Geoffrey & Hershey** -
***#TeamEspionage***
**Antoine & Elias** -
 Racing

**Marine & The Guru** -
***#TeamOutback***
**Amy & Cream** -
***#TeamFun***
**Salty & Pepper** -
 10th

**Jet & Storm** -
***#TeamRogue***
**Leeta & Lyco** -
***#TeamTwinners***
**Decoe & Bocoe** -
***#TeamBot***
Anime

## *Hitoribocchi no Marumaru Seikatsu*

* Ingles
* Japones

***Hitoribocchi no OO Seikatsu*** (ひとりぼっちの○○生活) o ***Hitoribocchi no Marumaru Seikatsu*** es la adaptación al anime del manga del mismo nombre. Está animado por C2C y se emitió del 6 de abril de 2019 al 21 de junio de 2019. Fue emitida en simultáneo por Crunchyroll.

## Sinopsis

Hitori Bocchi, una chica con ansiedad social extrema, solo ha tenido una amiga durante toda la escuela primaria. Cuando Bocchi se entera de que se separarán después de la graduación, le hace una promesa: "Para cuando me gradúe de secundaria, me haré amiga de todos los de mi clase". Y si no puede... ¡¿ya no serán amigos?! Pero a Bocchi le cuesta hablar con la gente. Cuando se pone nerviosa, le dan calambres en las piernas. No puede mirar a los ojos. Ni siquiera sabe cómo hacer amigos. Todo lo que se le ocurre para hacer amigos acaba fracasando. ¿Tendrá éxito su plan de hacer amigos?

## Lista de episodios

== Personal

* Director: Takefumi Anzai
* Diseñador de personajes y director jefe de animación: Kii Tanaka
* Composición de la serie: Jukki Hanada
* Director de sonido: Akiko Fujita
* Producción de animación: C2C
Kagome Dolls (Musical Chairs)

Kagome Dolls are dolls that appear in Musical Chairs and sing Kagome Kagome. Once Musical Chairs ends, They explode in half. There are 4 of them. Each of them is a different color. The different colors are, blue, red, green, and gray.

Appearance

Blue Kagome Doll

The Blue Kagome Doll is colored blue and has a wood texture. A square paper is attached on to the head and the face has a smile with thin eyebrows.

   Red Kagome Doll

The Red Kagome Doll is colored red and has a wood texture. A square paper is attached on to the head and the face has a smile and long wavy thin eyebrows. It seems a squiggly line is across the top of the paper.

Green Kagome Doll

The Green Kagome Doll is colored green and has a wood texture. A square paper is attached on to the head and the face has a flat smile and seems to be a serious look and the eyebrows are thin and wavy.

Gray Kagome Doll

The Gray Kagome Doll is colored gray and has a wood texture. A square paper is attached on to the head and the face has a shocked smile along with thick eyebrows. The Gray Kagome Doll has a serious look.
이상 탐지

이상 탐지 (Anomaly Detection)는 이상(Anomaly)을 찾는 방법이며, 특이한 값(outlier)을 찾는 분야와 새로운 값(novelty)을 찾는 분야로 나뉜다.

분류
--

이상 탐지 문제가 적용되는 분야는 매우 다양하다.

데이터의 종류에 따라 주가나 계측량의 변화에 대한 단순 시계열 데이터, 이미지 데이터, 건강검진에서 나온 수치같은 정보에 대한 다변수 데이터, 거래내역 같은 데이터, 텍스트나 컴퓨터 코드, 파일의 이상 탐지 등이 있다.

또한 영상 처리의 경우도 비디오 같은 데이터와 정지된 이미지를 처리하는 경우 등이 나뉜다.

방법
--

좌표로 표시되는 이상치는 클러스터 분석을 통해 다른 정상 데이터와 떨어져있는 점을 이상치로 간주할 수 있다.

이미지의 이상 탐지에는 오토인코더(autoencoder)가 쓰이는 경우가 있는데, 이상(Anomaly)은 오토인코더에서 잘 인코딩 되지 않아서 디코더를 거치면 사라지기 때문에. 원본과 달라진 것을 바탕으로 이상을 감지하기 쉽기 때문이다.

## 어려운 점

이상치가 드물고 이상치 만의 공통된 특징도 없는 경우가 많으며, 이상 탐지가 적용되는 도메인도 너무 다양하기 때문에 조금 어려운 과제에 속한다.

논문
--

* Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings(arXiv:1911.02357)
* Student-Teacher Feature Pyramid Matching for Anomaly Detection(arXiv:2103.04257)
* Towards Total Recall in Industrial Anomaly Detection(arXiv:2106.08265)
* Asymmetric Student-Teacher Networks for Industrial Anomaly Detection(arXiv:2210.07829)
* Anomaly Detection via Reverse Distillation from One-Class Embedding(arXiv:2201.10703)
* Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy(arXiv:2110.02642)

## 같이 보기

* 특이한 값(Outlier)
* 클러스터 분석
DonjonMath Wiki

Welcome to my page where I am gonna talk about my dnd characters. All of these are original characters of mine that I have grown different level of attachment to.

## Characters

#### Playable characters

* Amenos Xenria
* Lone
* Kethaz
* Lana Abernant
* Vandrus Trunktender
* Taksha
* Rivière Desamours (Drome)
* Corrin Heavyrain
* Kaede
* Elluka Clockworker
* Vistra
* Seraphine
* Horrick
* Zephyr
* Cole
* Mizuki
* Fizz
* Gromak
* Liberty
* Ivy
* Crystal
* Kan
* Aldor
* Flora
* Hex
* Reynald
* Lirael
* Borik
* Wilbur
* Rayne
* Durin
* Skye
* Kriel
* Evelyn
* Millie
* Jaden
* Destruction
* Niri
* Francine (Yim)
* Pheebee
* Ori
* Winter Snowgrave
Levant

UN Observer state:

* Palestine

Unrecognized by UN state:

* Northern Cyprus

The **Levant** is an approximate historical geographical term referring to a large area in the Eastern Mediterranean region of West Asia. In its narrowest sense, which is in use today in archaeology and other cultural contexts, it is equivalent to Cyprus and a stretch of land bordering the Mediterranean Sea in western Asia: i.e. the historical region of Syria, Israel, Jordan, Lebanon, Syria, the Palestine and most of Turkey southwest of the middle Euphrates.

Its overwhelming characteristic is that it represents the land bridge between Africa and Eurasia. In its widest historical sense, the Levant included all of the Eastern Mediterranean with its islands; that is, it included all of the countries along the Eastern Mediterranean shores, extending from Greece to Cyrenaica in eastern Libya.

## Etymology

The term *Levant* appears in English in 1497, and originally meant 'the East' or 'Mediterranean lands east of Italy'. It is borrowed from the French *levant* 'rising', referring to the rising of the sun in the east, or the point where the sun rises. The phrase is ultimately from the Latin word *levare*, meaning 'lift, raise'. Similar etymologies are found in Greek Ἀνατολή *Anatolē* (*cf.* Anatolia 'the direction of sunrise'), in Germanic *Morgenland* (lit. 'morning land'), in Italian (as in *Riviera di Levante*, the portion of the Liguria coast east of Genoa), in Hungarian *Kelet* ('east'), in Spanish and Catalan *Levante* and *Llevant*, ('the place of rising'), and in Hebrew מִזְרָח *mizraḥ* ('east'). Most notably, "Orient" and its Latin source *oriens* meaning 'east', is literally "rising", deriving from Latin *orior* 'rise'.

The notion of the Levant has undergone a dynamic process of historical evolution in usage, meaning, and understanding. While the term "Levantine" originally referred to the European residents of the eastern Mediterranean region, it later came to refer to regional "native" and "minority" groups.
Futou Kou

Manga

**Futou Kou** (布藤 香, *Futou Kou*) es uno de los personajes de la serie *Hitoribocchi no OO Seikatsu']. En sexto grado comió demasiados tomates y vomitó, desde entonces dejó de ir a la escuela por vergüenza.*

## Trivia

* Minagawa Rau era su amiga desde la escuela primaria. Kou despertaba mucho a Rau porque solía dormir en clase todo el tiempo.
* Tiene un perro llamado "Poseidon".
* Su nombre deriva de "不登校", que significa "rechazo a la escuela" (negarse a ir a la escuela).
Middle East

* Bahrain
* Cyprus
* Egypt
* Iran
* Iraq
* Israel
* Jordan
* Kuwait
* Lebanon
* Oman
* Qatar
* Saudi Arabia
* Syria
* Turkey
* United Arab Emirates
* Yemen

UN Observer state:

* Palestine

The **Middle East** is a geographic region in Southwest Asia that includes the Arabian Peninsula, the Levant, the Fertile Crescent, and Persia. Most Middle Eastern countries (13 out of 18) are part of the Arab world. The most populous countries in the region are Egypt, Turkey, and Iran, while Saudi Arabia is the largest Middle Eastern country by area. The history of the Middle East dates back to ancient times, with the geopolitical importance of the region being recognized for millennia. Several major religions have their origins in the Middle East, mainly Judaism, Christianity, and later Islam.

The Middle East generally has a hot, arid climate, especially in the Arabian and Egyptian regions. Several major rivers provide irrigation to support agriculture in limited areas here, such as the Nile Delta in Egypt, the Tigris and Euphrates watersheds of Mesopotamia, and the basin of the Jordan River that spans most of the Levant.

## Translations

There are terms similar to the *Middle East* in other European languages, but since it is a relative description, the meanings depend on the country and are differe

nt from the English terms generally. In German the term *Naher Osten* (Near East) is still in common use (nowadays the term *Mittlerer Osten* is more and more common in press texts translated from English sources, albeit having a distinct meaning) and in Russian Ближний Восток or *Blizhniy Vostok*, Bulgarian Близкия Изток, Polish *Bliski Wschód* or Croatian *Bliski istok* (meaning *Near East* in all the four Slavic languages) remains as the only appropriate term for the region. However, some languages do have "Middle East" equivalents, such as the French Moyen-Orient, Swedish Mellanöstern, Spanish Oriente Medio or Medio Oriente, and the Italian Medio Oriente.

Perhaps because of the influence of the Western press, the Arabic equivalent of *Middle East* (Arabic: الشرق الأوسط *ash-Sharq al-Awsaṭ*) has become standard usage in the mainstream Arabic press, comprising the same meaning as the term "Middle East" in North American and Western European usage. The designation, *Mashriq*, also from the Arabic root for *East*, also denotes a variously defined region around the Levant, the eastern part of the Arabic-speaking world (as opposed to the *Maghreb*, the western part). Even though the term originated in the West, apart from Arabic, other languages of countries of the Middle East also use a translation of it. The Persian equivalent for Middle East is خاورمیانه (*Khāvar-e miyāneh*), the Hebrew is המזרח התיכון (*hamizrach hatikhon*), the Turkish is Orta Doğu and the Greek is Μέση Ανατολή (*Mesi Anatoli*).
Ojousa Mayo

* Anime
* Manga

Compañera de clase de Bocchi, procede de una familia rica. Sus padres siempre están de viaje de negocios.

## Aspecto

Ojousa Mayo tiene el pelo castaño con flequillo, dos mechones de pelo en rizos vintage por delante, y el resto del pelo suelto por detrás. Tiene los ojos de color amarillo ámbar y un pequeño lazo rosa en el lado izquierdo de la cara.

Además del uniforme escolar, lleva una falda estilizada y medias negras sujetas por ligueros blancos.

## Personalidad

Siempre intenta ayudar a los demás y se emociona mucho cuando le dan las gracias. Dice que se siente sola porque sus padres siempre estan lejos.

## Trivia

* "ojousamayo"(おじょうさ まよ) significa "soy una señora rica" en japonés.
Nakanai Karane

* Anime
* Manga

**Nakanai Karane** (中内 柄音, *Nakanai Karane*) es uno de los personajes de la serie *Hitoribocchi no OO Seikatsu*Anime. Es una estudiante de último curso a la que Hitori Bocchi prende un ramillete en su ceremonia de graduación.

## Trivia

* Su nombre deriva de "なかない から ね" que significa "No lloraré".
Total Sonic Adventure

## Contestants

**Sally**
**Team Princess**
*Showdown In Space*
**Mighty**
**Team Chaotix**
*Showdown In Space*
**Bunnie**
**Team Princess**
*Masters Of The Desert*
**Tails**
**Team Freedom**
*Aquatic Conflict*
**Sonic**
**Team Freedom**
*Totem Drama*
**Amy**
**Team Princess**
*The Legend Of Pumpkin Hill*
**Charmy**
**Team Chaotix**
*The Wild Wild Canyon*
**Vector**
**Team Chaotix**
*Hot & Cold*
**Shadow**
**Team Freedom**
*Hide And Be Sneaky*
**Marine**
**Team Princess**
*Stuffed Yellow And Creepy*
**Rouge**
**Team Princess**
*DodgeBrawl*
**Espio**
**Team Chaotix**
*DodgeBrawl*
**Rotor**
**Team Freedom**
*The Awake-a-thon*
**Antoine**
**Team Freedom**
*The Great Bigfoot Chase*
**Knuckles**
**Team Chaotix**
*Snowball Effect*
**E-102**
**Team Chaotix**
*Too Bot To Handle*
**Big**
**Team Freedom**
*Supersized Me*
**Cream**
**Team Princess**
*A Daring Dive*

## Elimination Table

 1
 2
 3
Furago Notsugi

## Notsugi Futago

* Anime
* Manga

## Apariencia

Se recoge el pelo en una coleta hacia el lado derecho y lleva una estrella en el pelo. Es la gemela más relajada, lo que se refleja en su uniforme escolar.

## Trivia

* Llama a Hitori Bocchi "Hito-chan".
* Llama a su hermana gemela Nosaki Futago "Saki".
* Su nombre deriva de 双子の次 que significa "la gemela más joven" en japonés.
인공지능 기술청사진 2030

인공지능 기술청사진 2030은 정보통신기술평가원(IITP)이 인공지능 기술에 대한 청사진을 밝힌 보고서이다.

## AI 분류체계

* 깊이성장 AI
	+ 자기지도학습
	+ 메타학습
	+ 강화학습
* 범위성장 AI
	+ 지식기반 추론기술
	+ 상식기반 추론기술
	+ 실세계변화 적응기술
	+ 절차적 지식
* 지속성장 AI
	+ 학습역량 진단 및 개선
	+ 평생학습
	+ 뇌인지 발달모사
	+ 연합학습
	+ 모델 경량화
* 신뢰성 있는 AI
	+ 설명 가능한 AI
	+ 견고한 AI
	+ 공정한 AI
* 소통감성 AI
	+ 단일감각지능 고도화
	+ 복합대화기술
	+ 에이전트 간 협업기술
* 공감하는 AI
	+ 다중감각인지
	+ 행동지능
	+ 교감형 AI
The Prophecy of Blood

**The Prophecy of Blood** is one of Sandwich's prophecies. It is inscribed on the prophecy room's floor, originally mirrored.

### Text

*Warmblood now a bloodborne death*

*Will rob your body of its breath,*

*Mark your skin, and seal your fate.*

*The Underland becomes a plate.*

*Turn and turn and turn again.*

*You see the what but not the when.*

*Remedy and wrong entwine,*

*And so they form a single vine.*

*Bring the warrior from above*

*If yet his heart is swayed by love.*

*Bring the princess or despair,*

*No crawlers care without her there.*

*Turn and turn and turn again.*

*You see the what but not the when.*

*Remedy and wrong entwine,*

*And so they form a single vine.*

*Those whose blood runs red and hot*

*Must join to seek the healing spot.*

*In the cradle find the cure*

*For that which makes the blood impure.*

*Turn and turn and turn again.*

*You see the what but not the when.*

*Remedy and wrong entwine,*

*And so they form a single vine.*

*Gnawer, human, set aside*

*The hatreds that reside inside.*

*If the flames of war are fanned,*

*All warmbloods lose the Underland.*

*Turn and turn and turn again.*

*You see the what but not the when.*

*Remedy and wrong entwine,*

*And so they form a single vine.*
Kurie Ito

Anime

**Kurie Ito** (栗枝 衣抄, *Kurie Ito*) es uno de los personajes de la serie *Hitoribocchi no OO Seikatsu*Anime. Formaba parte de un grupo de pastelería con Hitori Bocchi.

## Apariencia

Kurie Ito tiene el pelo negro con flequillo y un mechón largo hasta la barbilla que le enmarca la cara. Lleva dos accesorios esféricos blancos en la base de dos trenzas que le caen por encima de los hombros. Tiene los ojos de color rojo granate.

Lleva gafas rectangulares con montura roja y el uniforme escolar estándar, excepto por un jersey abotonado de lana de color gris oscuro.

## Curiosidades

* Su nombre deriva de "クリエイト", que es la pronunciación japonesa de la palabra inglesa "create".
Sucede todo el tiempo (Episodio)

**Sucede todo el tiempo (Episodio)** (アルアルあるある, *Aruaru Aruaru*) es el episodio 5ésimo de la adaptación anime.

## Sinopsis

Aru es una chica desafortunada. Hoy por desgracia ha venido a la escuela con una mochila de primaria. Ya se le ha ocurrido la excusa perfecta para convertir este desafortunado suceso en un día perfecto, pero...?

## Diferencia con el Manga

* Se derivó de los capítulos 12, 24 y 46 de los volúmenes 1, 2 y 4 respectivamente.
* Algunas escenas fueron cortadas del manga:
	+ Sotoka nunca llegó con Bocchi cuando se encuentran con "Mieru"
Seré tu aprendiz (Episodio)

**Seré tu aprendiz (Episodio)** (弟子になります, *Deshi ni Narimasu*) es el episodio 4th de la adaptación anime.

## Sinopsis

"Te he estado buscando todo este tiempo. No puedes engañar a mis ojos". ¡El camino a la escuela está lleno de peligros! ¡Mientras Bocchi trata de ocultar su presencia y llegar a la escuela, se topa con un brillante extranjero?!

## Diferencia con el Manga

* Se derivó de los capítulos 9, 10 y 11 del Volumen 1
* Algunas escenas fueron cortadas del manga:
	+ Bocchi no volvió a pinchar a Nako como en el capítulo 3.
Lágrimas tiernas (Episodio)

**Gentle Tears** (やわらかい涙, *Yawarakai Namida*) es el episodio 7ésimo de la adaptación anime.

## Sinopsis

"El mundo es cruel". Es 19 de julio, y las vacaciones de verano empiezan mañana. Bocchi... no se ha hecho amiga de toda su clase. Así que necesita hacer un amigo más hoy, aunque sólo sea uno..

## Diferencia con el Manga

* Se derivó de los capítulos 13, 15 y 16 de los volúmenes 1 y 2 respectivamente.
* Algunas escenas fueron cortadas del manga:
	+ Kai estaba llorando fuera en el estudio de karaoke en lugar de en otra habitación.
Oshie Teruyo

* Anime
* Manga

**Oshie Teruyo** (押江 照代, *Oshie Teruyo*) es el profesor de la clase de Hitori Bocchi.

## Apariencia

Oshie Teruyo tiene el pelo castaño que le cae ligeramente por encima de los hombros, una pequeña coleta que se le forma sobre el hombro derecho, así como una horquilla plateada que le sujeta el pelo a la derecha. Tiene los ojos azules y viste un uniforme de profesora rosa con zapatos de tacón beige.

== Personalidad
Puede ser muy profesional. (pero nerviosa si está con Sunao Nako debido a su apariencia de delincuente)

## Trivia

* Es la profesora de Bocchi.
* Su nombre es un juego de palabras, en japonés suena como 教えてるよ, que significa "¡Yo enseñaré!".
Himeji Yanai

* Anime
* Manga

**Himeji Yanai** (姫路 やない, *Himeji Yanai*) es uno de los personajes de la serie *Hitoribocchi no OO Seikatsu']. Sueña con ser princesa. Ella cree que cuando una verdadera princesa canta los pájaros vienen a sentarse en sus manos y otras personas se unen a la canción (al igual que en Disney películas).*

## Apariencia

Pelo largo peinado como Princes Peach's pelo con una tiara.

## Trivia

* Su nombre deriva de "姫じゃない" que significa "no princesa".
Minagawa Rau

Anime

**Minagawa Rau** (美奈川 らう, *Minagawa Rau*) es uno de los personajes de la serie *Hitoribocchi no OO Seikatsu*Anime. Es la chica más popular de la clase según Honshou Aru.

## Apariencia

Pelo largo y castaño que lleva recogido en una coleta. Lleva una falda corta debajo del uniforme. Siempre lleva una venda amarilla con ojos "dormilones" en la cabeza. En un momento del anime, lleva la venda sobre los ojos.

== Personalidad
Muy enérgica, ruidosa y le encanta reír.

## Trivia

* Se sienta junto a una ventana delante de Sunao Nako y al lado de Kurai Kako.
* Es sorda. Suena mal cuando canta, pero dice que lo importante al cantar es divertirse.
* Futou Kou era su amiga desde la escuela primaria. Kou despertaba mucho a Rau porque solía dormir en clase todo el tiempo.
* Su nombre deriva de "皆が笑う" que significa "todo el mundo se ríe".
Panqueques y curry perfectos (Episodio)

**Panqueques y curry perfectos (Episodio)** (絶好のカレーパンケーキ, *Zekkō no Karē Pankēki*) es el episodio 9ésimo de la adaptación anime.

## Sinopsis

Cuando todos se agrupan en la clase de cocina, Bocchi acaba en un grupo diferente al de Nako y Sotoka. Pero hoy Bocchi es el Bocchi fuerte. Intenta hablar con todos los de su grupo... y fracasa. Su imaginación no deja de dar vueltas en su cabeza, pero...?

## Diferencia con el Manga

* Se derivó de los capítulos 20, 21 y 22 del volumen 2.
* Algunas escenas fueron cortadas del manga:
	+ Aru nunca usa un traje de Taiko durante la clase de cocina.
		- Tampoco se puso la diadema durante el capítulo 21.
	+ Kurai reaccionó de forma diferente a la patata shuriken de Sotoka en su curry.