* 수정: 떨어진 조사 관련 테스트 제거
* 추가: Mock을 사용한 유닛 테스트 추가
* 수정: 라이센스 주석 추가
* 수정: TokenGenerator 다시 구현 (복합명사 분해 로직 변경)
* 수정: StandardIndexTokenizerFactory에서 decompoundMinLength를
compoundNounMinLength(분해해야 하는 복합명사 최소 길이 - 기본값: 3)로 변경
* 추가: TokenGeneratorWithStandardPosAppenderTest 추가. (Mock object를 사용한
유닛테스트)
* 수정: TokenGenerator에서 기분석 사전(모두 붙여쓰기 된 구문의 기분석 데이터가 저장된 사전) 로직 추가
* 수정: TokenGenerator 리팩토링
* 수정: 테스트 코드 수정
* 삭제: TokenInfo 클래스 제거. Pos 클래스와 통합
* 삭제: Offsets 클래스 제거
* 수정: TokenGenerator에서 TokenInfo의 사용 부분을 제거하고, Pos만 사용하여 token을 반환하도록 로직
변경
* 수정: 복잡한 복합명사에대한 테스트 추가
* 수정: MeCabKoStandardTokenizerTest 정답 변경 및 리팩토링
* 수정: README.md, CHANGES.md 내용 수정
* 수정: 버전 변경
* 수정: README.md 수정
* 수정: README.md 오타 수정
* 수정: 유닛테스트 수정