Omnia 2x7B

Description

This repository hosts Omnia-2x7B, an advanced Japanese language model specifically trained for generating novels. Omnia is designed to excel in creating engaging and captivating content while maintaining context and complexity in its responses.

In extensive testing and benchmarks, Omnia has proven to be an exceptionally strong model. It builds upon the strengths of its predecessor models while adding enhanced intelligence and a focus on novels. Please note that Omnia is tailored for novel generation and may not perform optimally on other tasks such as instruction-based chats.

Benchmark Results

Model	average	complexity	contextual maintenance	similarity to ground truth
Omnia-2x7B	82.2	55.5	95.9	95.3
Omnia-7B	81.8	55.0	95.7	94.8
Antler-RP-ja-westlake-chatvector	81.6	54.2	95.6	95.0
LightChatAssistant-TypeB-2x7B	81.5	55.1	95.0	94.5
Antler-7B	81.5	53.7	95.8	95.1
chatntq-ja-7b-v1.0-westlake-chatvector	79.7	49.8	95.0	94.3
chatntq-ja-7b-v1.0	79.7	52.0	93.9	93.2

Benchmark Metrics:

Complexity

Evaluates the model's ability to produce non-repetitive responses. Higher scores indicate more diverse and less repetitive text, calculated using zlib.compress, which I find effective at detecting significantly repetitive texts.

Context Maintenance

Assesses how well the model maintains the given topic. Responses that stray from the context result in lower scores. Calculated using japanese-reranker-cross-encoder-large-v1 to measure relevance between the input and the generated response.

Similarity to Ground Truth

Evaluates the similarity between the response of the model and the original following text. Calculated using japanese-reranker-cross-encoder-large-v1 to measure relevance.

Example

Prompt: マルクスの時代は、王や皇帝、そして貴族といった旧来の特権階級の没落が急速に進んだ。代わって台頭してきたのが、大衆や労働者である。そのような情勢を背景としたマルクスの思想は、当時は必ずしも間違いとは言い切れなかった。しかし、歴史が階級革命に向かわなかった原因は、時代の流れがマルクスの思想を飛び越してしまったからであろう。資本主義の急激で高度な発展は、資本家と労働者の差を曖昧にし、階級闘争という概念自体を無意味にしてしまった。すなわち、マルクスの意図した形とは別の
Response: 形で、資本主義は進化したのである。　また、マルクスの思想は、現実の政治においても失敗した。その理由の一つは、マルクスの理論があまりにも極端であったからである。マルクスは、資本主義の崩壊を絶対視していた。しかし、実際には資本主義は、社会主義国家による計画経済に比べて、より効率的な経済システムであることが証明された。マルクスの理論に基づく政権が樹立されたソ連や東欧諸国は、腐敗した独裁政権が崩壊したのである。　つまり、資本主義が進化してしまったことと、マルクス理論の欠陥によって、共産主義国家は失敗したのだ。　また、マルクスの思想は、極めて革命的であった。当時のヨーロッパにおいて、マルクスの理論は反社会的なものとして受け取られた。それゆえに、マルクスは政府によって捕まったり、国外追放されたりしたのである。そのような背景もあって、マルクスの思想は敬遠され、その後のヨーロッパにおける共産主義運動は、必ずしもマルクス主義を受け入れなかった。今日、マルクスの思想は、歴史的な価値として
Original following text: 革命が起きてしまったのである。　ところが、マルクスが先鞭をつけた共産主義思想に、別の形のアプローチを加え、強制的に実現しようとした思想家がいる。すなわちレーニンである。彼は、祖国ロシアに革命を起こし、皇帝、貴族、そして資本家を放逐することによって、マルクスのいう「労働者が生産手段を所有する国家」を一足飛びに造ろうとした。　そして、第一次世界大戦でドイツの軍門に降り、混乱したロシア国内で、赤色革命は成功した。レーニンを首班とする新生国家が、すなわち『ソビエト連邦』なのである。　しかしロシアは、従来、遅れた専制帝国であった。皇帝や貴族が民衆を厳しく統制支配し、民衆も無教養な農奴層がその大半を占めており、とても西欧型の大衆のレベルには成熟していなかった。つまり、マルクスが想定した階級闘争は、未成熟なロシアにとって、遙か将来に期待されるべき幻影に過ぎなかったのだ。したがってレーニンが行ったことは、歴史の先取りである。修正主義と呼ばれる所以である。

Similarity: 0.969

While the benchmark provides some insights, it is important to consider that the specific undisclosed details of the benchmark may introduce biases. Therefore, it is recommended to take this result with a grain of salt for now.

If you want to know the full generation results of the benchmark, please contact me at mazikat@na-cat.com