mwirth-epo/epo-nmt-datasets huggingface dataset:
[바람직하게는, 상기 전송부의 상측면과 하측면 사이의 거리는 상기 전송부 입광단에 근접되는 일단으로부터 상기 전송부 출광단에 근접되는 일단으로 점차 증가된다. ]
Preferably, the distance between the upper side surface and the lower side surface of the transmission part gradually increases from the end approaching the light incoming end of the transmission part to the end approaching the light exiting end of the transmission part.
[보다 바람직하게는, 상기 전송부의 좌측면과 우측면 사이의 거리는 상기 전송부 입광단에 근접되는 일단으로부터 상기 전송부 출광단에 근접되는 일단으로 점차 증가된다. ]
More preferably, the distance between the left side surface and the right side surface of the transmission part gradually increases from the end approaching the light incoming end of the transmission part to the end approaching the light exiting end of the transmission part.
[본 발명의 다른 구체적인 구조 형태로서, 상기 입광 구조는 매트릭스로 배열되고, 상기 입광 구조는 적어도 1열로 설치된다.
As another specific structural form of the present invention, the light incoming structures are arranged in a matrix manner, and the light incoming structures are arranged in at least one row.
[바람직하게는,상기 입광구조 상기 전송부를 등진 일단은 입광면을 형성하고, 상기 입광면은 후방으로 돌출된 곡면 또는 테이퍼면이다. ]
Preferably, the ends, facing away from the transmission part, of the light incoming structures form light incoming surfaces, and the light incoming surfaces are curved surfaces or conical surfaces protruding backwards.
[보다 바람직하게는, 상기 입광 구조는 광선을 수렴하도록 구성된다. ]
More preferably, the light incoming structures are configured to condense light rays.
[본 발명의 또 다른 바람직한 실시형태로서, 상기 입광 구조는 복수 개이고, 상기 입광 구조는 좌우 방향을 따라 순차적으로 연결되며, 상기 입광 구조에서 상기 전송부를 등진 일단은 입광면을 형성하고, 상기 입광면은 후방으로 돌출된 곡면이다. ]
As another preferred embodiment of the present invention, multiple light incoming structures are arranged, the light incoming structures are sequentially connected in a left-right direction, the ends, facing away from the transmission part, of the light incoming structures form light incoming surfaces, and the light incoming surfaces are curved surfaces protruding backwards.
[바람직하게는, 상기 전송부의 좌측면과 우측면은 상기 전송부 입광단에 근접되는 일단으로부터 전방으로 연장된 후, 상기 전송부에 근접되는 중심축 방향으로 점차 접근한다. ]
Preferably, the left side surface and the right side surface of the transmission part extend forwards from the end approaching the light incoming end of the transmission part and then gradually draw close to a direction approaching the central axis of the transmission part.
[보다 바람직하게는, 상기 전송부의 폭은 상기 출광부의 폭보다 작고, 상기 전송부의 높이는 상기 출광부의 높이보다 작다. ]
More preferably, the width of the transmission part is smaller than that of the light exiting part, and the height of the transmission part is smaller than that of the light exiting part.
[구체적으로, 상기 출광부의 횡단면적은 상기 전송부에 근접되는 일단으로부터 상기 전송부로부터 멀어지는 일단으로 점차 감소된다. ]
Specifically, the cross sectional area of the light exiting part gradually decreases from the end approaching the transmission part to the end away from the transmission part.
[보다 더 바람직하게는, 상기 전송부의 적어도 하나의 측면에는 소광(extinction) 구조가 설치된다. ]
Further preferably, at least one side surface of the transmission part is provided with an extinction structure.
[구체적으로, 상기 입광부, 상기 전송부 및 상기 출광부는 일체로 성형된다. ]
Specifically, the light incoming part, the transmission part and the light exiting part are integrally formed.
[대표적으로, 상기 출광면의 외면에는 격자형 무늬 또는 스트립형 무늬가 설치된다. ]
Typically, the outer surface of the light exiting face is provided with grid patterns or strip-shaped patterns.
[본 발명의 제2 양태는, 회로기판 및 상술한 기술적 해결수단 중 어느 한 항에 따른 차량용 램프 광학 소자를 포함하는 차량용 램프 모듈을 제공하되, 상기 회로기판은 상기 차량용 램프 광학 소자의 입광부 후방에 설치되며, 상기 회로기판에는 상기 입광 구조에 대응되는 하이빔 광원이 설치된다. ]
A second aspect of the present invention provides a vehicle lamp module comprising a circuit board and the vehicle lamp optical element according to any one of the foregoing technical solutions, the circuit board is arranged behind the light incoming part of the vehicle lamp optical element, and high beam light sources corresponding to the light incoming structures are arranged on the circuit board.
[바람직하게는, 상기 차량용 램프 광학 소자는 상술한 기술적 해결수단 중 어느 한 항에 따른 상기 렌즈 점등 구조를 포함하는 차량용 램프 광학 소자이고, 상기 회로기판에는 상기 렌즈 점등 구조에 대응되는 렌즈 점등 광원이 설치되며, 상기 하이빔 광원 및 상기 렌즈 점등 광원은 독립적으로 온 또는 오프되도록 제어 가능하다. ]
Preferably, the vehicle lamp optical element is the vehicle lamp optical element including the lens lightening structure in any one of the foregoing technical solutions, the circuit board is provided with a lens lightening light source corresponding to the lens lightening structure, the high beam light sources and the lens lightening light source can be independently controlled to be turned on or off.
[보다 바람직하게는, 상기 입광 구조는 복수 개이고, 상기 하이빔 광원은 상기 입광 구조와 일대일로 대응되며, 각각의 상기 하이빔 광원은 독립적으로 온 또는 오프되도록 제어 가능하다. ]
More preferably, multiple light incoming structures are arranged, the high beam light sources are in one-to-one correspondence with the light incoming structures, and each high beam light source can be independently controlled to be turned on or off.
[본 발명의 제3 양태는, 상술한 기술적 해결수단 중 어느 한 항에 따른 차량용 램프 모듈을 포함하는 차량용 헤드램프를 제공한다. ]
A third aspect of the present invention provides a vehicle headlamp comprising the vehicle lamp module in any one of the foregoing technical solutions.
[본 발명의 제4 양태는, 상술한 기술적 해결수단에 따른 차량용 헤드램프를 포함하는 차량을 제공한다.]
A fourth aspect of the present invention provides a vehicle comprising the vehicle headlamp according to the foregoing technical solution.
[본 발명의 상술한 기본 기술적 해결수단을 통해, 본 발명에 따른 차량용 램프 광학 소자는 입광부, 전송부 및 출광부를 일체로 집적하므로 집적화 정도가 높고, 분리된 1차 광학 소자 및 렌즈를 설치할 필요가 없으며 기타 불필요한 지지 장치도 장착할 필요가 없어 조립 관계가 간단할 뿐만 아니라 또한 차량용 램프 광학 소자의 부품 제조 정밀도 및 광학 시스템 정밀도를 향상시키며, 아울러 상기 차량용 램프 광학 소자의 부피는 배광 요구 조건이 충족되면 적응적으로 축소될 수 있어 집적화 연구에 유리하다. ]
Through the basic technical solution of the present invention, the light incoming part, the transmission part and the light exiting part of the vehicle lamp optical element provided by the present invention are integrated, the integration degree is high, a primary optical element and a lens which are separated are not needed to be arranged, other unnecessary supporting devices do not need to be installed, the assembly relation is simple, furthermore, part manufacturing precision and optical system precision of the vehicle lamp optical element are improved, meanwhile, the size of the vehicle lamp optical element can be adaptively reduced when meeting the light distribution requirement condition, and integrated research is facilitated.
[본 발명의 바람직한 형태에서, 상기 차량용 램프 광학 소자가 차량용 램프에 응용될 경우, 렌즈 점등 구조는 로우빔 조명 모드에서 출광부의 출광면도 점등되도록 하고, 또한 로우빔 조명 모드에서는 렌즈 점등 광원에서 방출된 광선이 확산되도록 하여 출광면이 점등되는 우수한 시각적 효과를 형성하며, 아울러 출광면의 점등 휘도 및 범위가 차량용 램프의 로우빔 조명에 영향을 미치지 않도록 한다. ]
In a preferred mode of the present invention, when the vehicle lamp optical element is applied to a vehicle lamp, the lens lightening structure enables the light exiting face of the light exiting part to be lightened in a low beam illumination mode, and enables light rays emitted by the lens lightening light source to be diffused in the low beam illumination mode, so that a good visual effect of lightening the light exiting face is achieved, and meanwhile, the lightening brightness and range of the light exiting face do not affect low beam illumination of the vehicle lamp.
도 3을 참조하면, 일 실시예에 따른 트레이닝 장치는 정답 레이블을 포함하는 트레이닝 데이터를 수신한다(310). 트레이닝 데이터는 예를 들어, 영상 데이터 및 음성 데이터 중 어느 하나를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.]
The training data may include, but is not limited to, for example, either image data or voice data.
[트레이닝 장치는 단계(310)에서 수신한 트레이닝 데이터를 인코딩함으로써 트레이닝 데이터에 대응하는 임베딩 벡터를 추출한다(320).]
In operation 320, the training apparatus may extract an embedding vector (a feature vector, for example) corresponding to the training data received in operation 310, by encoding the training data (using an encoder, for example).
[트레이닝 장치는 인공 신경망의 추론 정보를 생성하는 제1 디코더를 이용하여 단계(320)에서 추출한 임베딩 벡터를 디코딩한다(330). 트레이닝 장치는 제1 디코더를 이용하여 임베딩 벡터를 디코딩함으로써 추론 정보를 생성할 수 있다.
In operation 330, the training apparatus may decode the embedding vector extracted in operation 320 using a first decoder that generates inference information (a label D1(E(x)), for example) of an ANN.
트레이닝 장치는 인공 신경망의 추론 정보와 트레이닝 데이터에 포함된 정답 레이블 간의 차이에 기초하여 제1 로스를 계산한다(350).]
In operation 350, the training apparatus may calculate a first loss based on a difference between the inference information of the ANN and the true label included in the training data.
[트레이닝 장치는 단계(310)에서 수신한 트레이닝 데이터의 복원 정보를 생성하는 제2 디코더를 이용하여 단계(320)에서 추출한 임베딩 벡터를 디코딩한다(340). 트레이닝 장치는 제2 디코더를 이용하여 임베딩 벡터를 디코딩함으로써 트레이닝 데이터의 복원 정보를 생성할 수 있다. ]
In operation 340, the training apparatus may decode the embedding vector extracted in operation 320 using a second decoder that generates reconstruction information (reconstructed training data D2(E(x)), for example) of the training data received in operation 310.
[트레이닝 장치는 트레이닝 데이터 내 정답 레이블에 대응하는 제1 부분 영역을 결정하거나, 트레이닝 데이터로 인하여 생성되는 임베딩 벡터에 대응하는 제1 부분 영역을 결정한다(360). 트레이닝 데이터가 영상 데이터인 경우, 제1 부분 영역은 트레이닝 데이터 내에서 복원된 관심 공간 영역을 포함할 수 있다.
In operation 360, the training apparatus may determine a first partial region in the training data corresponding to the true label, or a first partial region corresponding to an embedding vector generated due to the training data (for example, the embedding vector extracted in operation 320).
또는, 트레이닝 데이터가 음성 데이터인 경우, 제1 부분 영역은 트레이닝 데이터 내에서 복원된 관심 시간 구간을 포함할 수 있다.]
In another example, when the training data is voice data, the first partial region may include a time interval of interest reconstructed in the training data.
[일 실시예에 따르면, 트레이닝 데이터가 영상 데이터인 경우, 트레이닝 장치는 인공 신경망이 픽셀 와이즈 정보 또는 검출 윈도우를 추론하도록, 트레이닝 데이터 내 정답 레이블에 대응하는 부분 영역을 제1 부분 영역으로 결정할 수 있다.
In an example, when the training data is image data, the training apparatus may determine a partial region in the training data corresponding to the true label as the first partial region so that the ANN may infer pixel-wise information or a detection window.
또는, 인공 신경망이 클래스를 추론하도록 설계된 경우, 트레이닝 영상에 대응하는 타겟 레이블을 이용하여 트레이닝이 수행될 수 있다.
In another example, when the ANN is designed to infer a class, training may be performed using a target label corresponding to a training image.
이 경우, 트레이닝 영상에 대응하는 타겟 영상이 존재하지 않으므로 타겟 영상에 대응하는 픽셀 와이즈 정보를 획득할 수 없다.
In this example, when a target image corresponding to the training image is absent, a typical training apparatus may not obtain pixel-wise information corresponding to such target image.
따라서, 트레이닝 장치는 인코더를 통해 추출한 특징의 활성 정보(예를 들어, 임베딩 벡터)를 이용하여 인공 신경망이 관심 영역에 대응하는 클래스를 추론하도록 트레이닝할 수 있다.]
In contrast, the training apparatus of one or more embodiments may perform training so that the ANN may infer a class corresponding to an ROI using activation information (for example, an embedding vector) of a feature extracted using the encoder.
[단계(360)에서, 트레이닝 장치는 트레이닝 데이터 내의 제1 부분 영역을 복원할 수 있다.
In operation 360, the training apparatus may reconstruct the first partial region in the training data.
트레이닝 장치는 예를 들어, 트레이닝 데이터에서 픽셀 별로 추출된 픽셀 와이즈 정보에 기초하여 특징 벡터를 적응적으로 디코딩함으로써 트레이닝 데이터 내의 제1 부분 영역을 복원할 수 있다.
For example, the training apparatus may reconstruct the first partial region in the training data by adaptively decoding a feature vector based on pixel-wise information extracted for each pixel from the training data.
트레이닝 장치가 픽셀 별로 추출된 픽셀 와이즈 정보에 기초하여 트레이닝 데이터 내의 제1 부분 영역을 복원하는 방법은 예를 들어, 아래의 도 4 내지 도 7을 참조할 수 있다.]
Non-limiting examples in which the training apparatus reconstructs the first partial region in the training data based on pixel-wise information extracted for each pixel will be further described below with reference to FIGS. 4 through 7.
[트레이닝 장치는 예를 들어, 트레이닝 데이터에서, 검출 윈도우에 의해 검출된 영역에 기초하여 임베딩 벡터를 적응적으로 디코딩함으로써 트레이닝 데이터 내의 제1 부분 영역을 복원할 수 있다.
For example, the training apparatus may reconstruct the first partial region in the training data by adaptively decoding an embedding vector (for example, the embedding vector extracted in operation 320) based on a region detected in the training data by a detection window.
트레이닝 장치가 검출 윈도우에 의해 검출된 영역에 기초하여 트레이닝 데이터 내의 제1 부분 영역을 복원하는 방법은 예를 들어, 아래의 도 4 내지 도 7을 참조할 수 있다. ]
Non-limiting examples in which the training apparatus reconstructs the first partial region in the training data based on the region detected by the detection window will be further described below with reference to FIGS. 4 through 7.
[일 실시예에서 픽셀 와이즈 정보나 검출 윈도우 기반 방법 모두 관심 영역을 바로 정의하여 제1 부분 영역을 결정할 수 있다는 점에서 도 4 내지 도 7은 모두 픽셀 와이즈 정보 또는 검출 윈도우 기반 방법에 사용될 수 있다.
Since an ROI may be directly defined and the first partial region may be determined in both the above pixel-wise information-based method and the above detection window-based method, all examples of FIGS. 4 through 7 may be used in the pixel-wise information-based method or the detection window-based method.
다만, 도 4 내지 도 5와 도 6 내지 도 7은 두 디코딩 네트워크들이 적어도 일부의 디코딩 레이어를 공유하는지 여부에 있어서 차이점이 있을 뿐 다른 부분은 동일하게 적용될 수 있다. ]
Although examples of FIGS. 4 and 5 differ from examples of FIGS. 6 and 7 in whether two decoding networks share at least a portion of decoding layers, the other parts may equally be applicable to the examples of FIGS. 4 through 7.
[또는 트레이닝 장치는 분류기에 의해, 트레이닝 데이터로부터 분류된 클래스에 대응하는 특징 맵에 기초하여 특징 벡터를 적응적으로 디코딩함으로써 트레이닝 데이터 내의 제1 부분 영역을 복원할 수 있다.
The training apparatus may reconstruct the first partial region in the training data by adaptively decoding a feature vector based on a feature map corresponding to a class classified from the training data by a classifier.
트레이닝 장치가 트레이닝 데이터로부터 분류된 클래스에 대응하는 특징 맵에 기초하여 트레이닝 데이터 내의 제1 부분 영역을 복원하는 방법은 아래의 도 6 내지 도 9를 참조할 수 있다. ]
Non-limiting examples in which the training apparatus reconstructs the first partial region in the training data based on a feature map corresponding to a class classified from the training data will be further described below with reference to FIGS. 6 through 9.
[트레이닝 장치는 단계(360)에서 결정된 제1 부분 영역에 따른 복원 정보와 트레이닝 데이터 간의 차이에 기초하여 제2 로스를 계산한다(370). 전술한 것과 같이, 제1 부분 영역에 따른 복원 정보는 예를 들어, 인공 신경망이 추론한 픽셀 와이즈 정보 또는 검출 윈도우에 대응한 것일수도 있고, 또는 인공 신경망이 추론한 클래스에 대응한 것일 수도 있다. ]
In operation 370, the training apparatus may calculate a second loss based on a difference between the training data and reconstruction information (for example, the reconstruction information generated in operation 340) based on the first partial region determined in operation 360.
[트레이닝 장치는 단계(350)에서 계산된 제1 로스 및 단계(370)에서 계산된 제2 로스에 기초하여 인공 신경망을 트레이닝한다(380). 트레이닝 장치는 예를 들어, 제1 로스에 기초하여 제1 디코더와 인코더를 트레이닝하고, 제2 로스에 기초하여 제2 디코더와 인코더를 트레이닝할 수 있다.
In operation 380, the training apparatus may train the ANN based on the first loss calculated in operation 350 and the second loss calculated in operation 370.
이로 인하여, 인코더는 제1 부분 영역을 제1 정확도로 복원하고, 트레이닝 데이터 내의 제2 부분 영역을 제2 정확도로 복원 가능한 정보를 내재하는 임베딩 벡터를 생성하도록 트레이닝될 수 있다.
Thus, the encoder may be trained to generate an embedding vector that includes information used to reconstruct the first partial region with a first accuracy and reconstruct a second partial region in the training data with a second accuracy.
이때, 제1 정확도는 제2 정확도 보다 높은 값을 가질 수 있다.]
In this example, the first accuracy may be greater than the second accuracy.
[일 실시예에 따른 트레이닝 방법은 예를 들어, 트레이닝 기반의 검출(Detection), 위치 추정(Localization), 의미론적 분할(Semantic Segmentation) 등을 위한 알고리즘 또는 소프트웨어를 전술한 추론 장치에 탑재 시에, 차후 다양한 환경에서도 범용성이 보장되도록 인공 신경망을 사전 트레이닝시키는 데에 적용될 수 있다.
For example, when software or an algorithm for training-based detection, localization or semantic segmentation is included in the above-described inference apparatus, the training method may be used to train the ANN in advance so that generality may be guaranteed even when implemented in various environments later.
또한, 일 실시예에 따른 트레이닝 방법은 온-디바이스(On-Device) 트레이닝 시에 최소한의 디바이스 데이터(Device Data)에 의해서도 과적합(Overfitting) 없이 범용성이 보장되도록 트레이닝을 수행할 수 있다. ]
Also, the training method may be used to perform training so that generality may be guaranteed without overfitting even with a minimum quantity of device data during on-device training.
[이하, 설명의 편의를 위하여, 트레이닝 데이터가 영상 데이터인 경우를 예로 들어 설명하지만, 반드시 이에 한정되는 것은 아니다. ]
Hereinafter, for convenience of description, an example in which training data is image data will be described, but is not limited thereto.
[도 4는 일 실시예에 따른 트레이닝 장치의 구성을 도시한 도면이고, 도 5는 도 4에 도시된 트레이닝 장치의 트레이닝 과정을 나타낸 흐름도이다.
FIG. 4 illustrates an example of a configuration of a training apparatus 400, and FIG. 5 illustrates an example of a training process of a training apparatus (for example, the training apparatus 400 of FIG. 4 ).
도 4를 참조하면, 일 실시예에 따른 트레이닝 장치(400)는 인코더(E)(410), 제1 디코더(D, Sub[attributes={}; value=[1]], )(420), 및 제2 디코더(D, Sub[attributes={}; value=[1]], )(430)를 포함할 수 있다.]
Referring to FIG. 4, the training apparatus 400 may include an encoder E 410, a first decoder D1 420, and a second decoder D2 430.
[일 실시예에 따른 트레이닝 장치(400)는 트레이닝 영상(x)에 대해 픽셀-와이즈(Pixel-Wise)로 값을 출력하여 타겟 영상(Target Image)을 생성하는 인코더(E)(410)와 제1 디코더(D, Sub[attributes={}; value=[1]], )(420)로 구성된 네트워크 구조의 인공 신경망에, 제2 디코더(D, Sub[attributes={}; value=[2]], )(430)를 추가하여 범용성을 향상시킬 수 있다.]
The training apparatus 400 may add the second decoder D2 430 to an ANN with a network structure including the encoder E 410 and the first decoder D1 420, to enhance generality.
[제1 디코더(D, Sub[attributes={}; value=[1]], )(420)는 인코더에 의해 생성된 임베딩 벡터에 대응하는 특정 정보(예를 들어, 트레이닝 데이터에 대응하는 레이블 등)를 추론할 수 있다.
The first decoder D1 420 may infer predetermined information (for example, a label corresponding to training data) corresponding to an embedding vector generated by the encoder E 410.
제2 디코더(D, Sub[attributes={}; value=[2]], )(430)는 트레이닝 데이터 중 일부 영역에 대응하는 정보를 복원할 수 있다.]
The second decoder D2 430 may reconstruct information corresponding to a portion of training data (for example, the training image x).
[트레이닝 장치(400)는 예를 들어, 트레이닝 영상(x)으로부터 픽셀-와이즈 정보를 추출하거나 또는 픽셀 와이즈 정보를 검출하도록 인공 신경망을 트레이닝할 수 있다.]
The training apparatus 400 may train the ANN to extract pixel-wise information from the training image x or to detect the pixel-wise information.
[일반적인 픽셀-와이즈 정보의 추출은 인코더-디코더로 구성된 신경망의 구조를 기본으로 하며, 트레이닝 영상을 인코더에 통과시켜 생성된 특징(feature)을 디코더에 통과시켜 최종적인 결과 영상(Result image)을 생성할 수 있다. ]
Extraction of general pixel-wise information may be based on a structure of a neural network including an encoder and a decoder, and a feature generated by a training image passing through the encoder may pass through the decoder, to generate a final result image.
[이하에서는, 예를 들어, 트레이닝 영상을 x, 트레이닝 영상에 대응하는 타겟 영상(또는 정답 영상)을 y, 인코더(Encoder)를 E, 제1 디코더(Decoder)를 D, Sub[attributes={}; value=[1, ]], 제2 인코더를 D, Sub[attributes={}; value=[2 ]], 라고 표시하기로 하자.]
In the following description, a training image may be denoted by x, a target image or a ground truth image corresponding to the training image may be denoted by y, an encoder may be denoted by E, a first decoder may be denoted by D1, and a second encoder may be denoted by D2.
[트레이닝 장치(400)는 예를 들어, 트레이닝 영상(x)과 트레이닝 영상(x)에 대응하는 타겟 영상(또는 정답 영상)(y)으로 구성된 {Input x, Target y}의 페어를 수신할 수 있다(510). 트레이닝 장치(400)는 트레이닝 영상(x)을 인코더(E)(410)에 인가함으로써 트레이닝 영상(x)에 대응하는 임베딩 벡터 E(x)을 추출할 수 있다(520). ]
In operation 520, the training apparatus 400 may extract an embedding vector E(x) corresponding to the training image x by applying the training image x to the encoder E 410.
[트레이닝 장치(400)는 임베딩 벡터 E(x)을 제1 디코더(D, Sub[attributes={}; value=[1]], )(420)에 인가(530)함으로써 결과 영상(Result image) D, Sub[attributes={}; value=[1]], (E(x))을 생성할 수 있다(540). 실시예에 따라서, 제1 디코더(D, Sub[attributes={}; value=[1]], )(420)는 검출기(Detector)로 대체될 수도 있다.]
The training apparatus 400 may apply the embedding vector E(x) to the first decoder D1 420 in operation 530, and may thereby generate a result image D1(E(x)) in operation 540.
[트레이닝 장치(400)는 제1 디코더(420)를 통과한 결과 영상 D, Sub[attributes={}; value=[1]], (E(x))과 타겟 영상(y)(560) 간의 차이(예를 들어, Diff(D, Sub[attributes={}; value=[1]], (E(x)), y))에 해당하는 타겟 손실(Target Loss)을 산출할 수 있다(550).]
In operation 550, the training apparatus 400 may calculate a target loss corresponding to a difference (for example, Diff(D1(E(x)), y)) between the result image D1(E(x)) passing through the first decoder D1 420 and the target image y 560.
[일 실시예에서는 타겟 손실에 더하여, 적응적 복원 디코더(Adaptive Reconstruction Decoder)인 제2 디코더(D, Sub[attributes={}; value=[2]], )(430)를 추가적으로 포함할 수 있다.
In addition to the target loss, the second decoder D2 430 that is an adaptive reconstruction decoder may be further included.
트레이닝 장치(400)는 인코더(E)(410)에 의해 생성된 임베딩 벡터 E(x)을 제2 디코더(D, Sub[attributes={}; value=[2]], )(430)에 통과(535)시켜 복원 영상(Reconstruction Image) D, Sub[attributes={}; value=[2]], (E(x))을 생성할 수 있다(545). 이 때, 복원 영상 D, Sub[attributes={}; value=[2]], (E(x))에 타겟 영상(y)로부터 정의된 각 픽셀(Pixel)의 적응적 가중치(Adaptive Weight) r(y)를 곱하면, 타겟 영상(y)에서 활성화되는 중요한 정보에 대응하는 가중치를 복원 영상 D, Sub[attributes={}; value=[2]], (E(x))에 부여하는 것과 같은 효과를 가질 수 있다.
The training apparatus 400 may pass the embedding vector E(x) generated by the encoder E 410 through the second decoder D2 430 in operation 535, and may thereby generate a reconstruction image D2(E(x)) in operation 545.
여기서, r(y)는 예를 들어, 트레이닝 영상 중 관심 영역(Region of Interest; ROI)을 반영한 픽셀 와이즈 맵(Pixel-Wise Map)에 해당할 수 있다.
In this example, the adaptive weight r(y) may correspond to, for example, a pixel-wise map reflecting an ROI in the training image.
r(y)는 예를 들어, 0 또는 1의 값을 갖는 이진 마스크 일 수도 있고, 또는 관심 영역의 경계 부분에서는 점진적으로 변화되는 실수 값을 갖는 가중치(또는 중요도) 일 수도 있다.]
For example, the adaptive weight r(y) may be a binary mask with a value of "0" or "1", or a weight or importance with a real number value that gradually changes in a boundary portion of an ROI.
[트레이닝 장치(400)는 가중치 r(y)에 의해 적응적으로 복원된 영상 D, Sub[attributes={}; value=[2]], (E(x))·r(y)과 트레이닝 영상(x) 간의 차이(예를 들어, Diff(D, Sub[attributes={}; value=[2]], (E(x))·r(y), x))로 정의된 복원 손실(Reconstruction Loss)을 산출할 수 있다(570). 여기서, 복원 영상 D, Sub[attributes={}; value=[2]], (E(x))·r(y)은 트레이닝 영상(x)의 관심(ROI) 영역과 같이 트레이닝 영상(x)의 부분 영역('제1 부분 영역)에 해당할 수 있다.]
In operation 570, the training apparatus 400 may calculate a reconstruction loss defined as a difference (for example, Diff(D2(E(x))·r(y), x)) between the training image x and an image D2(E(x))·r(y) adaptively reconstructed by the adaptive weight r(y).
[트레이닝 장치(400)는 전술한 타겟 손실과 함께 복원 손실이 최소화되도록 인공 신경망을 트레이닝할 수 있다(580). 트레이닝 장치(400)는 예를 들어, 트레이닝 데이터의 전체 집합에 대한 타겟 손실과 복원 손실의 합(예를 들어, 가중합(Weighted Sum))이 최소화되도록 인공 신경망을 트레이닝할 수 있다. ]
For example, the training apparatus 400 may train the ANN to minimize a sum (for example, a weighted sum) of a reconstruction loss and a target loss for a full set of training data.
[도 6은 다른 실시예에 따른 트레이닝 장치의 구성을 도시한 도면이고, 도 7은 도 6에 도시된 트레이닝 장치의 트레이닝 과정을 나타내 흐름도이다.
FIG. 6 illustrates an example of a configuration of a training apparatus 600, and FIG. 7 illustrates an example of a training process of a training apparatus (for example, the training apparatus 600 of FIG. 6 ).
도 6을 참조하면, 일 실시예에 따른 트레이닝 장치(600)는 인코더(E)(610), 및 디코더(D, Sub[attributes={}; value=[1]], )(630)를 포함할 수 있다.]
Referring to FIG. 6, the training apparatus 600 may include an encoder E 610, and a decoder D1 630.
[도 6의 실시예에 따른 디코더(630)는 도 4에서 전술한 두 개의 분리된 디코더들(제1 디코더(420) 및 제2 디코더(430)) 간에 서로 공유되는 적어도 일부 레이어일 수 있다.
The decoder D1 630 may be at least a portion of layers shared between two separated decoders, that is, the first decoder D1 420 and the second decoder D2 430 of FIG. 4.
트레이닝 장치(600)는 디코더(630)에 연결되는, 분류기(Classifier)(C)(633) 및 적응적 복원 디코더(Adaptive Reconstruction Decoder)(R)(636)를 더 포함할 수 있다.
The training apparatus 600 may further include a classifier C 633 connected to the decoder D1 630, and an adaptive reconstruction decoder R 636.
예를 들어, 디코더(630)는 분류기(Classifier)(C)(633)와 연동하면서, 동시에 적응적 복원 디코더(Adaptive Reconstruction Decoder)(R)(636)와 연동할 수 있다.
For example, the decoder D1 630 may simultaneously operate in conjunction with the classifier C 633 and the adaptive reconstruction decoder R 636.
실시예에 따라, 분류기(C)(633)는 도 4의 검출기로 동작할 수도 있다.
Depending on examples, the classifier C 633 may also operate as a detector.
이하 설명의 편의를 위하여 분류 동작을 예를 들어 설명하나, 실시예들은 분류기(C)(633)가 검출기로 동작하는 경우에도 적용될 수 있다.]
Hereinafter, for convenience of description, a classification operation will be described, and may also be applied to an example when the classifier C 633 operates as a detector.
[트레이닝 장치(600)는 예를 들어, 트레이닝 영상(x)과 트레이닝 영상(x)에 대응하는 타겟 레이블(또는 정답 레이블)(y)으로 구성된 {Input x, Target y}의 페어를 수신할 수 있다(710). 트레이닝 장치(600)는 트레이닝 영상(x)을 인코더(E)(610)에 인가함으로써 트레이닝 영상(x)에 대응하는 임베딩 벡터 E(x)을 추출할 수 있다(720). ]
In operation 710, the training apparatus 600 may receive a pair {Input x, Target y} of a training image x and a target label or a true label y corresponding to the training image x.